提出KVEraser方法,通过学习生成引导KV状态以高效局部擦除大语言模型的上下文缓存,在保持接近完全重计算性能的同时显著降低延迟。
机构:佐治亚理工
来源:arXiv 2606.17034 | AI4Papers 论文推荐平台