提出了KVServe服务感知自适应KV缓存压缩框架,用于优化解耦大模型推理服务中的KV通信瓶颈,通过统一模块化策略空间、贝叶斯离线搜索与轻量级在线控制器,在服务质量约束下最高实现9.13倍任务完成时间加速与32.8倍首词延迟降低。
机构:中科院
来源:arXiv 2605.13734 | AI4Papers 论文推荐平台