提出ReasonAlloc,一种训练无关的层次预算分配框架,用于推理模型解码时的KV缓存压缩,通过离线层间预分配和在线头间分配提升性能(在MATH-500和AIME 2024上表现优于均匀预算方法)。
机构:清华
来源:arXiv 2606.11164 | AI4Papers 论文推荐平台