本文提出并证明了Transformer通过几何叠加表示与ReLU门控MLP实现高效事实记忆的机制,揭示了其容量-深度权衡规律,并实验验证了该结构在梯度下降下的涌现性与泛化能力。
机构:纽约大学
来源:arXiv 2605.12426 | AI4Papers 论文推荐平台