提出 Cornserve,一种面向任意模态组合(Any-to-Any)多模态模型的分布式推理服务系统,通过灵活的任务抽象、模型组件级解耦与独立扩缩容、以及基于记录-重放的数据依赖感知执行机制,实现高效张量直传,相较基线提升最高3.81倍吞吐量和5.79倍尾部延迟降低。
机构:密歇根大学
来源:arXiv 2603.12118 | AI4Papers 论文推荐平台
AI4Papers 是一个以每日 arXiv 论文发现为入口的 AI 科研工作流平台,帮助研究者用最短时间掌握最新 AI/ML 前沿动态。
核心功能完全免费。高级 AI 功能(对比分析、深度研究、灵感工作台)支持自带兼容 API Key(如 OpenAI、通义千问)无限使用。
免费注册 | 使用教程