提出TileFuse,一个针对AMD XDNA2 NPU的融合混合精度内核库,用于高效量化LLM推理,通过融合解包、反量化和矩阵计算,并设计权重布局和数据流,实现了kernel级GEMM性能提升121.6%、GEMV提升281%,以及端到端prefilling延迟降低2.0倍、能耗降低64.6%。
机构:UIUC
来源:arXiv 2606.11357 | AI4Papers 论文推荐平台