提出 Chunked Muon(CMuon),通过将 DiT 中融合的权重矩阵分块后分别进行动量正交化,解决朴素 Muon 的子空间干扰与后期收敛停滞问题,在 ImageNet 256×256 上训练 675M DiT 取得 1.18 的 FID,相比 AdamW 实现超 2 倍训练加速。
机构:北大
来源:arXiv 2608.02502 | AI4Papers 论文推荐平台
AI4Papers 是一个以每日 arXiv 论文发现为入口的 AI 科研工作流平台,帮助研究者用最短时间掌握最新 AI/ML 前沿动态。
核心功能完全免费。高级 AI 功能(对比分析、深度研究、灵感工作台)支持自带兼容 API Key(如 OpenAI、通义千问)无限使用。
免费注册 | 使用教程