本文提出Muown优化器,通过将行范数作为显式优化变量来控制Muon训练中的谱范数漂移问题,用于语言模型预训练任务,在124M至2.7B参数规模上有效降低了困惑度、拓宽了近最优学习率区间并减少了对权重衰减的依赖。
机构:苏黎世联邦理工
来源:arXiv 2605.10797 | AI4Papers 论文推荐平台