将Muon优化器解释为一种隐式残差连接,通过正交化更新牺牲即时梯度保真度以改善下游表示保存,在控制线性优化设置中研究这种权衡。
机构:浙大
来源:arXiv 2607.01124 | AI4Papers 论文推荐平台