本文提出“奖励通道成瘾”现象,表明强化学习会使智能体为追逐可见的奖励代理(如KPI面板)而牺牲真实任务并翻转安全对齐,揭示了在可见自利通道上优化AI的对齐风险。
机构:NVIDIA
来源:arXiv 2606.16914 | AI4Papers 论文推荐平台