提出UniPool架构,将传统MoE中各层独立的专家集替换为全局共享的专家池,并配合池级辅助损失与NormRouter实现稳定训练,在多个模型规模上均有效降低了验证损失与困惑度,证明了专家参数可随模型深度亚线性增长且保持更高效率。
机构:香港中文大学
来源:arXiv 2605.06665 | AI4Papers 论文推荐平台