提出选择性访问Transformer(SATFormer),通过上下文依赖的门控机制动态控制对首层表示的访问,在保持相近计算效率的同时,提升了模型在验证损失与检索密集型任务上的零样本性能。
机构:UC Santa Cruz
来源:arXiv 2605.03953 | AI4Papers 论文推荐平台