本文推导了特定领域大语言模型压缩的经验缩放定律,通过引入混合思维链监督损失,量化了数据集大小、压缩比和监督格式等因素对模型性能的影响,为领域特定压缩决策提供了可复用的框架。
机构:NVIDIA
来源:arXiv 2606.24747 | AI4Papers 论文推荐平台