提出TriAttention方法,利用预RoPE空间中Q/K向量围绕固定非零中心的集中现象及其引发的距离偏好三角级数建模,实现更稳定的KV缓存压缩,在AIME25上以匹配全注意力的准确率达成2.5倍吞吐提升或10.7倍KV内存减少。
机构:MIT
来源:arXiv 2604.04921 | AI4Papers 论文推荐平台