提出UltraQuant 4-bit KV缓存压缩与AMD GPU服务优化方法,通过FP4近似路径和内核优化,在长上下文多轮智能体任务中显著降低首字延迟并提升输出吞吐量。
机构:AMD
来源:arXiv 2606.20474 | AI4Papers 论文推荐平台