通过分析驱动的方法,在冻结骨干设置下研究因果自注意力的线性化替换,证明delta-style更新比纯门控累积更好地近似softmax,并引入sink tokens、短卷积和固定预算缓存路由等结构干预来缩小差距,在LLaMA和Qwen模型上扩展到32B参数,在MMLU上优于先前的post hoc基线,并匹配复杂自适…
机构:Qualcomm
来源:arXiv 2607.07706 | AI4Papers 论文推荐平台