提出了一种用于大语言模型推测解码的可解释延迟模型,通过利特尔定律推导有效批次大小并分解各阶段计算开销,准确刻画了不同服务器负载下的延迟与加速比变化规律,为实际部署中的系统配置提供了结构化分析框架。
机构:MIT
来源:arXiv 2605.15051 | AI4Papers 论文推荐平台