提出一个概念框架,将RL环境中的奖励分解为依赖Chain-of-Thought(CoT)和依赖最终输出的两项,并分类为‘对齐’、‘正交’或‘冲突’;预测并验证了在冲突奖励下训练会降低CoT可监控性,而对齐奖励可提升、正交奖励则无影响。
机构:DeepMind
来源:arXiv 2603.30036 | AI4Papers 论文推荐平台