通过三项实验揭示RLHF中偏好信号存在‘偏好构建问题’:人类标注者在文本偏好标注中表现出高达91%的选择盲视;LLM评判员的检测依赖浅层文本匹配而非真正自监控;受控标签污染实验显示奖励信号对噪声高度敏感,但标准评估指标无法检测下游策略退化。
机构:剑桥
来源:arXiv 2603.08412 | AI4Papers 论文推荐平台
AI4Papers 是一个以每日 arXiv 论文发现为入口的 AI 科研工作流平台,帮助研究者用最短时间掌握最新 AI/ML 前沿动态。
核心功能完全免费。高级 AI 功能(对比分析、深度研究、灵感工作台)支持自带兼容 API Key(如 OpenAI、通义千问)无限使用。
免费注册 | 使用教程