分析on-policy distillation参数更新的稀疏性和几何特性,发现更新具有稀疏、FFN-heavy、全秩但谱集中的特征,且稀疏子网络可恢复大部分性能,但AdamW仍优于SGD。
机构:南大
来源:arXiv 2606.13657 | AI4Papers 论文推荐平台