软件学报

作者：李响，刘明，刘明辉，姜庆，曹扬

单位：李响，电子科技大学 计算机科学与工程学院, 四川 成都 611731;中电科大数据研究院有限公司, 贵州 贵阳 55002211,刘明，电子科技大学 计算机科学与工程学院, 四川 成都 61173102,刘明辉，电子科技大学 计算机科学与工程学院, 四川 成都 61173103,姜庆，中电科大数据研究院有限公司, 贵州 贵阳 55002204,曹扬，中电科大数据研究院有限公司, 贵州 贵阳 55002205

关键词：深度神经网络;泛化性;正则化;权重衰减

基金：贵州省科技计划（黔科合支撑[2020]4Y058）

深度神经网络目前在许多任务中的表现已经达到甚至超越了人类的水平，但是其泛化能力和人类相比还是相去甚远.如何提高网络的泛化性，一直是重要的研究方向之一.围绕这个方向开展的大量卓有成效的研究，从扩展增强训练数据、通过正则化抑制模型复杂度、优化训练策略等角度，提出了很多行之有效的方法.这些方法对于训练数据集来说都是某种全局性质的策略，每一个样本数据都会被平等的对待.但是，每一个样本数据由于其携带的信息量、噪声等的不同，在训练过程中，对模型的拟合性能和泛化性能的影响也应该是有差异性的.针对是否一些样本在反复的迭代训练中更倾向于使得模型过度拟合，如何找到这些样本，是否可以通过对不同的样本采用差异化的抗过拟合策略使得模型获得更好的泛化性能等问题，提出了一种依据样本数据的差异性来训练深度神经网络的方法，首先使用预训练模型对每一个训练样本进行评估，判断每个样本对该模型的拟合效果；然后依据评估结果将训练集分为易使得模型过拟合的样本和普通的样本两个子集；最后，再使用两个子集的数据对模型进行交替训练，过程中对易使得模型过拟合的子集采用更强有力的抗过拟合策略.通过在不同的数据集上对多种深度模型进行的一系列实验，验证了该方法在典型的分类任务和细粒度分类任务中的效果.

来源：2022年第12期

《软件学报》期刊编辑部

查看软件学报杂志2022年第12期