软件学报

作者：刘宇翔，程禹嘉，陶卿

单位：刘宇翔，中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 23003111,程禹嘉，中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 23003102,陶卿，中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 23003103

关键词：机器学习;Nesterov加速方法;随机优化;梯度估计有偏;个体收敛

基金：国家自然科学基金（61673394）

随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法，其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上，但对机器学习问题来说，很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是，著名的Nesterov加速算法NAG（Nesterov accelerated gradient）会逐步累积每次迭代中的梯度偏差，从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明，NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法，但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题，证明了在次梯度偏差有界的情况下，NAG能够获得稳定的个体收敛界，而当次梯度偏差按照一定速率衰减时，NAG仍然可获得最优的个体收敛速率.作为应用，得到了一种无需精确计算投影的投影次梯度方法，可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能.

来源：2020年第4期

《软件学报》期刊编辑部

查看软件学报杂志2020年第4期