提出基于数据依赖的RoPE频率选择理论,通过场-分辨率权衡证明频率与数据依赖轮廓宽度匹配的原则,解释频率使用的非均匀性,并揭示位置插值长度泛化依赖于依赖结构的尺度匹配,自然语言的自相似性使得频率缩放有效。
机构:清华
来源:arXiv 2607.07678 | AI4Papers 论文推荐平台