本文提出了一种名为Hyperball的优化器包装方法,通过将权重矩阵及其更新的Frobenius范数固定为常数,解决了大模型预训练中矩阵优化器加速收益随规模缩小的问题,在1.2B参数模型上实现了20-30%的token等效加速并改善了学习率迁移能力。
机构:Stanford
来源:arXiv 2606.16899 | AI4Papers 论文推荐平台