提出微语言模型(µLMs,8M–30M参数),在端侧即时生成响应的前4–8个词,由云端大模型续写,从而掩盖云延迟;设计协作生成框架与三种错误恢复机制,实现语义连续的跨设备协同生成,并在资源极度受限设备上实现毫秒级首词响应。
机构:Meta
来源:arXiv 2604.19642 | AI4Papers 论文推荐平台