本文提出并验证了“优化器-模型一致性”现象,表明在监督微调阶段使用与预训练相同的优化器进行全量微调,能比其他优化器或LoRA更好地平衡学习与遗忘,并从激活正则化角度解释了其机制,同时发现Muon优化器因倾向死记硬背而在少数据推理任务微调中表现劣于AdamW。
机构:UIUC
来源:arXiv 2605.06654 | AI4Papers 论文推荐平台