提出Tapered Language Models(TLMs),通过在固定参数预算下使模型组件(如MLP宽度)随深度单调递减,在不增加参数或计算成本的情况下,一致地降低了困惑度并提升了下游基准性能。
机构:Mila
来源:arXiv 2606.23670 | AI4Papers 论文推荐平台