本文揭示了稀疏混合专家模型(SMoE)中路由决策与专家权重之间的几何耦合机制,指出辅助负载均衡损失会破坏该耦合结构,并据此提出一种无参数在线K-Means路由器,以更低的负载不均衡度和较小的困惑度代价验证了该机制的有效性,阐明了路由形成有效分工的内在几何原理。
机构:特拉维夫大学
来源:arXiv 2605.12476 | AI4Papers 论文推荐平台