提出HyLo(HYbrid LOng-context)方法,通过架构适配(结合Multi-Head Latent Attention与Mamba2/Gated DeltaNet)、分阶段长上下文训练和教师引导蒸馏,将预训练Transformer大模型升级为混合架构,在保持短上下文性能的同时显著提升长上下文能力,将…
机构:AMD
来源:arXiv 2604.24715 | AI4Papers 论文推荐平台