本文验证了LLM中Super Weights的输入一致性,并证明单独训练这些参数会导致性能崩溃(降至随机猜测水平),而使用LoRA等结构化低秩分解方法能够成功微调并提升性能。
机构:Amazon
来源:arXiv 2607.08733 | AI4Papers 论文推荐平台