本文提出DECO稀疏混合专家架构,通过引入基于ReLU的路由、可学习专家缩放、NormSiLU激活函数及非门控MLP专家设计,在相同总参数量和训练Token预算下实现与稠密模型相当的性能以克服终端部署的存储与访存瓶颈,其专用推理内核较稠密基线实现3.00倍加速。
机构:清华
来源:arXiv 2605.10933 | AI4Papers 论文推荐平台