提出SWARR方法,通过将预训练自注意力模型转换为滑动窗口注意力并经过监督微调和强化学习策略适应,缩小了滑动窗口注意力与自注意力在数学推理任务上的性能差距。
机构:上智院
来源:arXiv 2606.11634 | AI4Papers 论文推荐平台