本文将AdamW在重尾噪声下的收敛性作为开放问题进行探讨,证明了正加权度量基准并揭示了分母记忆隐藏大梯度的下界机制。
机构:南大
来源:arXiv 2606.23676 | AI4Papers 论文推荐平台