提出EMO混合专家预训练方法,通过限制同一文档内token共享专家池以实现模型模块化,在仅保留12.5%~25%专家时性能仅下降1%~3%,显著突破传统MoE的子模块独立使用瓶颈,并促使专家在高层语义层面实现专业化。
机构:伯克利
来源:arXiv 2605.06663 | AI4Papers 论文推荐平台