提出IndexCache方法,通过跨层索引重用减少DeepSeek Sparse Attention(DSA)中 indexer的重复计算,在保留少量Full层 indexer的同时让其余Shared层复用其top-k索引,从而显著加速长上下文推理,实测在30B模型上移除75% indexer计算量并获得最高1.…
机构:清华
来源:arXiv 2603.12201 | AI4Papers 论文推荐平台
AI4Papers 是一个以每日 arXiv 论文发现为入口的 AI 科研工作流平台,帮助研究者用最短时间掌握最新 AI/ML 前沿动态。
核心功能完全免费。高级 AI 功能(对比分析、深度研究、灵感工作台)支持自带兼容 API Key(如 OpenAI、通义千问)无限使用。
免费注册 | 使用教程