提出 Grounded Token Initialization (GTI) 方法,在大语言模型微调前,利用自然语言描述与新词元的配对监督,将新词元有意义地锚定在预训练嵌入空间中,以解决均值初始化导致的新词元表征坍缩问题;在生成式推荐任务中,GTI 显著优于均值初始化及现有辅助任务适配方法。
机构:LinkedIn
来源:arXiv 2604.02324 | AI4Papers 论文推荐平台