提出一种免训练的逐token诊断框架,通过梯度对齐评分评估策略蒸馏信号,发现教师指导在错误推理路径上更有效,且最优蒸馏上下文取决于学生模型能力与任务类型,揭示了策略蒸馏中不存在通用最优配置。
机构:Apple
来源:arXiv 2605.10889 | AI4Papers 论文推荐平台