提出 ScaleSearch 算法,通过搜索微缩放浮点格式的最优块尺度因子以最小化量化误差,并结合 ScaleSearchAttention 实现全 NVFP4 精度注意力计算,在保持极低精度损失的同时显著提升了大语言模型量化推理的性能与准确率。
机构:康奈尔
来源:arXiv 2605.12464 | AI4Papers 论文推荐平台