提出ARCLIGHT,一种专为多核CPU设计的轻量级大语言模型推理架构,通过NUMA感知的内存管理、线程调度和细粒度张量并行,缓解跨节点内存访问瓶颈,在多核CPU上推理吞吐量最高提升46%。
机构:清华
来源:arXiv 2603.07770 | AI4Papers 论文推荐平台