提出DPOP方法,在DPO基础上对参考模型贪婪生成的响应添加门控惩罚,用于离线偏好优化,在AlpacaEval 2.0上提升长度控制胜率(相对提升5.3%和4.4%)。
机构:Stanford
来源:arXiv 2606.12505 | AI4Papers 论文推荐平台