提出SortedRL,一种在线长度感知调度策略,通过按输出长度重排序rollout样本、优先处理短样本以实现早期更新,并结合缓存机制控制off-policy程度及专用RL基础设施,显著提升LLM强化学习训练效率,在减少训练气泡比超50%的同时,使用相同数据量在多项数学与逻辑任务上取得3.9%至18.4%的性能提升。
机构:Microsoft
来源:arXiv 2603.23414 | AI4Papers 论文推荐平台