提出语言自适应最大后验(LangMAP)分词方法,在单一共享词汇表下生成特定语言的分词,从而在不改变原词汇表的情况下提升了多语言分词的形态边界对齐及下游语法可接受性。
机构:洛桑联邦理工
来源:arXiv 2606.23566 | AI4Papers 论文推荐平台