软件学报

作者：杜飞，杨云，胡媛媛，曹丽娟

单位：杜飞，云南大学 国家示范性软件学院, 云南 昆明 65050411,杨云，云南大学 国家示范性软件学院, 云南 昆明 650504;昆明市数据科学与智能计算重点实验室, 云南 昆明 650504;云南省高校数据科学与智能计算重点实验室, 云南 昆明 65050402,胡媛媛，云南大学 国家示范性软件学院, 云南 昆明 65050403,曹丽娟，云南大学 国家示范性软件学院, 云南 昆明 65050404

关键词：深度学习;集成学习;堆叠泛化;梯度消失;梯度注入

基金：国家自然科学基金（61663046，61876166）；云南省应用基础研究计划（2016FB104）；云南省中青年学术技术带头人后备人才项目（2017HB005）；云南省创新团队项目（2017HC012）；云南省高校重点实验室建设计划

深度学习通过多层特征提取方式，可以将原始复杂数据自动表征为高级抽象特征，该模型具有很强的建模能力，普遍应用于图像识别语音识别、自然语言处理等高复杂问题中.但深度学习由于网络层数深、参数规模庞大，训练时常常会产生梯度消失、陷入局部最优解、过度拟合等现象.借鉴集成学习的思想，提出一个新颖的深度共享集成网络，该网络通过在深度学习各隐藏层引出多个独立输出层的联合训练的方式，在网络的各层注入梯度，从而对低层隐藏层进行梯度补给，从而降低深度学习中的梯度消失现象，并通过集成多输出层的方式使得整个网络拥有更强的泛化性能.

来源：2020年第7期

《软件学报》期刊编辑部

查看软件学报杂志2020年第7期