提出Concordia运行时,利用设备常驻持久内核实现容错LLM推理的JIT编译增量检查点,在GPU端实现比CPU端快219倍的检查点速度并支持秒级服务恢复。
机构:UCSC
来源:arXiv 2606.23521 | AI4Papers 论文推荐平台