提出了一种基于Plackett-Luce模型和Fisher信息目标的主动负样本选择方法MASS-DPO,用于多负样本直接偏好优化任务,通过筛选信息互补的负子集减少冗余梯度信号,在推荐和多选问答基准上以更少的负样本实现了更高效的优化与更强的模型对齐性能(具体提升幅度未在前两页给出)。
机构:UCSD
来源:arXiv 2605.10784 | AI4Papers 论文推荐平台