本文揭示了大语言模型中注意力汇聚现象的结构成因(自注意力值聚合引发的方差差异被FFN超神经元放大并导致维度差异),并提出逐头RMSNorm架构修改以稳定值聚合输出,从而抑制该现象并显著加速预训练收敛。
机构:港中深
来源:arXiv 2605.06611 | AI4Papers 论文推荐平台