该论文发现自蒸馏在数学推理任务中有时会降低大语言模型的性能,原因是抑制了模型在推理过程中表达不确定性的能力(即认知言语化),导致在分布外问题上泛化能力下降;通过控制实验验证了教师模型所接收信息的丰富性和任务覆盖范围是关键影响因素,并在多个模型上观察到最高达40%的性能下降。
机构:Microsoft
来源:arXiv 2603.24472 | AI4Papers 论文推荐平台