提出混合深度注意力(MoDA)机制,使每个注意力头能同时关注当前层的序列KV对和前序层的深度KV对,以缓解大语言模型深度增加导致的信息稀释问题,并在硬件高效实现下提升模型性能。
机构:字节
来源:arXiv 2603.15619 | AI4Papers 论文推荐平台