本文理论分析了策略梯度优化中代理奖励误差对真实奖励提升的影响,将奖励误差划分为有害、良性与有益三类;指出部分误差(如对中等质量输出赋予过低代理奖励)可防止策略停滞、加速真实奖励提升;并据此提出面向RLHF的误差感知奖励模型评估指标,以及在可验证奖励场景下的奖励设计启示。
机构:普林斯顿
来源:arXiv 2604.25872 | AI4Papers 论文推荐平台