提出一种结合自适应每层循环(带学习停止机制)和门控记忆库(局部+全局)的Transformer架构,用于增强隐式推理能力;发现循环主要提升数学推理性能,记忆库则有助于恢复常识推理性能,并在数学基准上超越同FLOP但层数三倍的基线模型。
机构:Fraunhofer IAIS
来源:arXiv 2603.08391 | AI4Papers 论文推荐平台