提出SOL方法,通过为每个解码步骤训练轻量级策略网络动态分配计算预算(控制注意力稀疏度、激活剪枝和量化位宽),在冻结基座模型的同时优化了大语言模型的推理质量与效率权衡(MMLU准确率最高较均匀分配提升7.3%)。
机构:康奈尔大学
来源:arXiv 2605.10875 | AI4Papers 论文推荐平台