提出了一种基于正交等价变换的谱保持优化器Pion,用于大语言模型训练,通过左右正交变换在保持权重奇异值不变的同时更新参数,提供了比传统优化器更稳定高效的训练替代方案。
机构:港中文
来源:arXiv 2605.12492 | AI4Papers 论文推荐平台