提出AngularMuown优化方法,通过显式化Muown中隐式的角度步长衰减机制(解耦径向幅度与角度乘子),提升了Transformer等模型的预训练性能与步长稳定性。
机构:苏黎世联邦理工
来源:arXiv 2606.23637 | AI4Papers 论文推荐平台