软件学报

作者：姚红革，邬子逸，马姣姣，石俊，程嗣怡，陈游，喻钧，姜虹

单位：姚红革，西安工业大学 计算机科学与工程学院, 陕西 西安 71002111,邬子逸，西安工业大学 计算机科学与工程学院, 陕西 西安 71002102,马姣姣，西安工业大学 计算机科学与工程学院, 陕西 西安 71002103,石俊，西安工业大学 计算机科学与工程学院, 陕西 西安 71002104,程嗣怡，空军工程大学 航空工程学院, 陕西 西安 71005105,陈游，空军工程大学 航空工程学院, 陕西 西安 71005106,喻钧，西安工业大学 计算机科学与工程学院, 陕西 西安 71002107,姜虹，西安工业大学 计算机科学与工程学院, 陕西 西安 71002108

关键词：增量学习;灾难性遗忘;持续学习;自学习掩码;近期偏好;区域隔离

遗忘是人工神经网络在增量学习中的最大问题, 被称为“灾难性遗忘”. 而人类可以持续地获取新知识, 并能保存大部分经常用到的旧知识. 人类的这种能持续“增量学习”而很少遗忘是与人脑具有分区学习结构和记忆回放能力相关的. 为模拟人脑的这种结构和能力, 提出一种“避免近期偏好的自学习掩码分区增量学习方法”简称ASPIL. 它包含“区域隔离”和“区域集成”两阶段, 二者交替迭代实现持续的增量学习. 首先, 提出“BN稀疏区域隔离” 方法, 将新的学习过程与现有知识隔离, 避免干扰现有知识; 对于“区域集成”, 提出自学习掩码(SLM)和双分支融合(GBF)方法. 其中SLM准确提取新知识, 并提高网络对新知识的适应性, 而GBF将新旧知识融合, 以达到建立统一的、高精度的认知的目的; 训练时, 为确保进一步兼顾旧知识, 避免对新知识的偏好, 提出间隔损失正则项来避免“近期偏好”问题. 为评估以上所提出方法的效用, 在增量学习标准数据集CIFAR-100和miniImageNet上系统地进行消融实验, 并与最新的一系列知名方法进行比较. 实验结果表明, 所提方法提高了人工神经网络的记忆能力, 与最新知名方法相比识别率平均提升5.27%以上.

来源：2024年第7期

《软件学报》期刊编辑部

查看软件学报杂志2024年第7期