提出连续查询有限记忆语言模型(Co-LMLM),使用连续向量查询取代先前的结构化关系查询,从知识库检索知识,在Wikipedia和FineWeb-Edu上预训练后,在多种模型规模下困惑度和事实精确度均有提升,360M模型困惑度低于训练数据多40倍的模型,SimpleQA性能与gpt-4o-mini相当。
机构:Cornell
来源:arXiv 2607.07707 | AI4Papers 论文推荐平台