本文发现并分析了大语言模型在同主体知识编辑中指令跟随能力崩溃的几何根源,指出标准协方差约束会放大输入扰动(协方差陷阱)且联合优化导致尖锐极小值,进而提出RoSE方法,通过各向同性几何对齐和分层知识集成来提升编辑后模型对多样化用户指令的泛化能力。
机构:中科院
来源:arXiv 2603.15518 | AI4Papers 论文推荐平台