提出MemDLM(Memory-Enhanced DLM),通过双层优化在训练中嵌入模拟去噪过程,引入参数化记忆机制缓解扩散语言模型的训推不匹配问题,提升长上下文理解能力,并在Needle-in-a-Haystack等任务上取得显著改进。
机构:华为
来源:arXiv 2603.22241 | AI4Papers 论文推荐平台