提出Windowed-MTP方法,对草案注意力应用滑动窗口和注意力汇点,将草案的KV工作集限制为常数,在百万token上下文中将每步解码成本降低28%-44%,且无损于验证输出分布。
机构:NVIDIA
来源:arXiv 2607.21535 | AI4Papers 论文推荐平台