提出了一种×形(中间窄、首尾宽)的变宽Transformer架构(><former),通过非均匀的容量分配,在提升语言模型性能的同时,有效减少了计算量(FLOPs)和KV缓存内存开销。
机构:MIT
来源:arXiv 2606.18246 | AI4Papers 论文推荐平台