提出FlashRT系统,通过链式编程范式引导编码代理将参考实现转换为中间表示并进行静态分析,在测量门控优化循环中迭代实现和验证,从而为实时多模态应用自动生成高效的多GPU部署,在NVIDIA B200上实现最高70倍延迟降低和2.8倍吞吐量提升,在AMD MI355X上实现最高70倍延迟降低和3.6倍吞吐量提升。
机构:CMU
来源:arXiv 2607.18171 | AI4Papers 论文推荐平台