本文系统分析了无监督强化学习与可验证奖励(URLVR)在大语言模型训练中的可扩展性,提出基于奖励来源的内在/外在方法分类,建立统一理论框架揭示内在奖励会锐化模型初始分布,指出其成功依赖初始置信度与正确性的对齐,并通过实验发现内在奖励存在先升后降的普遍规律,进而提出模型崩溃步(Model Collapse Step…
机构:清华
来源:arXiv 2603.08660 | AI4Papers 论文推荐平台