提出对循环推理语言模型进行机制化分析,发现其循环块在隐空间中趋于循环固定点,注意力头行为随之稳定,并重复出现与前馈模型相似的推理阶段,从而揭示了循环结构如何组织深度计算。
机构:牛津
来源:arXiv 2604.11791 | AI4Papers 论文推荐平台