提出Lightning OPD,一种离线的、满足教师一致性(teacher consistency)的策略蒸馏框架,通过在SFT轨迹上预计算教师模型对数概率来消除对实时教师服务器的依赖,在数学推理和代码生成任务上达到与标准OPD相当或更优的性能,并实现4.0×训练加速。
机构:NVIDIA
来源:arXiv 2604.13010 | AI4Papers 论文推荐平台