本文提出通过在扰动自然语料生成的合成数据集上训练线性探针的方法,用于探究语言模型是否隐式习得独立于字符串概率的语法性判断,结果表明该探针在句法可接受性任务上优于传统概率方法且具备跨语言泛化能力,证实模型隐藏层确实隐含了语法性区分特征。
机构:MIT
来源:arXiv 2605.05197 | AI4Papers 论文推荐平台