本文提出状态-预测分离假设,通过设计双流Transformer变体分离状态表示和预测功能,实验表明该方法在数据和计算效率上优于标准Transformer,下游任务平均提升2-3个百分点。
机构:Cornell
来源:arXiv 2607.01218 | AI4Papers 论文推荐平台