通过三项实验揭示RLHF中偏好信号存在‘偏好构建问题’:人类标注者在文本偏好标注中表现出高达91%的选择盲视;LLM评判员的检测依赖浅层文本匹配而非真正自监控;受控标签污染实验显示奖励信号对噪声高度敏感,但标准评估指标无法检测下游策略退化。
机构:剑桥
来源:arXiv 2603.08412 | AI4Papers 论文推荐平台