提出Scepsy系统,通过构建Aggregate LLM Pipeline(基于各LLM执行时间占比的稳定统计),联合优化多LLM工作流在GPU集群上的分数GPU分配、张量并行度和副本数,实现低延迟高吞吐的agentic workflow服务,在真实场景中相比独立优化或人工配置方法达到最高2.4倍吞吐提升和27倍…
机构:帝国理工
来源:arXiv 2604.15186 | AI4Papers 论文推荐平台