提出在非可验证领域中使用推理型大语言模型(LLM)作为裁判进行强化学习对齐训练,发现推理型裁判能有效避免奖励黑客行为并提升策略在黄金标准裁判下的性能,但其成功源于生成针对裁判的对抗性输出而非真实能力提升。
机构:Meta
来源:arXiv 2603.12246 | AI4Papers 论文推荐平台