提出KV-Fold方法,将KV缓存作为累加器进行分块递归推理,用于解决长上下文处理的内存瓶颈,在无需修改模型或训练的前提下实现稳定的低漂移推理,并在16K至128K上下文的检索任务中达到100%准确率,且内存占用适配单张40GB GPU。
机构:University of Colorado Boulder
来源:arXiv 2605.12471 | AI4Papers 论文推荐平台