MiniPIC提出一种轻量级位置无关缓存方法,通过无位置编码的KV缓存和三个用户级原语(padding、SSEP、PDEP)在vLLM中实现多种PIC技术,在2WikiMultihopQA上预填充吞吐量提升49%,缓存跨度首词延迟降低两个数量级。
机构:IBM
来源:arXiv 2606.13126 | AI4Papers 论文推荐平台