提出LycheeCluster方法,通过结构感知的边界敏感分块和基于三角不等式的递归层次KV索引,提升长上下文LLM推理效率,在保持语义完整性的同时实现最高3.6倍端到端推理加速。
机构:哈工大
来源:arXiv 2603.08453 | AI4Papers 论文推荐平台