提出通过基于logit的知识蒸馏方法,在仅使用短上下文数据训练的前提下,将长上下文检索能力从教师模型迁移给学生模型,并结合RoPE位置编码机制分析了位置信息如何通过蒸馏信号隐式传递。
机构:Meta
来源:arXiv 2604.06070 | AI4Papers 论文推荐平台