提出 Cornserve,一种面向任意模态组合(Any-to-Any)多模态模型的分布式推理服务系统,通过灵活的任务抽象、模型组件级解耦与独立扩缩容、以及基于记录-重放的数据依赖感知执行机制,实现高效张量直传,相较基线提升最高3.81倍吞吐量和5.79倍尾部延迟降低。
机构:密歇根大学
来源:arXiv 2603.12118 | AI4Papers 论文推荐平台