软件学报

作者：陇盛，陶蔚，张泽东，陶卿

单位：陇盛，中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 23003111,陶蔚，中国人民解放军军事科学院 战略评估咨询中心, 北京 10009102,张泽东，中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 23003103,陶卿，中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 23003104

关键词：机器学习;凸优化;自适应算法;NAG方法;个体收敛速率

基金：国家自然科学基金(62076252,62106281)

与梯度下降法相比,自适应梯度下降方法(AdaGrad)利用过往平方梯度的算数平均保存了历史数据的几何信息,在处理稀疏数据时获得了更紧的收敛界.另一方面,Nesterov加速梯度方法(Nesterov’s accelerated gradient,NAG)在梯度下降法的基础上添加了动量运算,在求解光滑凸优化问题时具有数量级加速收敛的性能,在处理非光滑凸问题时也获得了最优的个体收敛速率.最近,已经出现了自适应策略与NAG相结合的研究,但现有代表性的自适应NAG方法AcceleGrad由于采取的自适应方式与AdaGrad不同,步长未能在不同维度上体现差异性,仅得到了加权平均方式的收敛速率,个体收敛速率的理论分析尚存在缺失.提出了一种自适应NAG方法,继承了AdaGrad的步长设置方式,证明了所提算法在解决约束非光滑凸优化问题时具有最优的个体收敛速率.在L1范数约束下,通过求解典型的hinge损失函数分类和L1损失函数回归优化问题.实验验证了理论分析的正确性,也表明了所提算法的性能优于AcceleGrad.

来源：2022年第4期

《软件学报》期刊编辑部

查看软件学报杂志2022年第4期