提出TIP(Token Importance in on-Policy distillation)两轴分类法,基于学生模型熵与师生分歧度识别两类重要token:高熵不确定位置和低熵高分歧的过度自信错误位置;据此设计无需参数的Soft-OR选择策略,在数学推理和长程规划任务上以更少token训练匹配或超越全toke…
机构:清华
来源:arXiv 2604.14084 | AI4Papers 论文推荐平台