软件学报

作者：邢鹏，蒋鑫，潘永华，唐金辉，李泽超

单位：邢鹏，南京理工大学 计算机科学与工程学院, 江苏 南京 21009411,蒋鑫，南京理工大学 计算机科学与工程学院, 江苏 南京 21009402,潘永华，南京理工大学 计算机科学与工程学院, 江苏 南京 21009403,唐金辉，南京理工大学 计算机科学与工程学院, 江苏 南京 21009404,李泽超，南京理工大学 计算机科学与工程学院, 江苏 南京 21009405

关键词：异常检测;特征蒸馏;异常评分;中心分布;一致性约束

基金：国家自然科学基金(U20B2064, U21B2043)

针对视觉异常检测任务, 提出一种基于特征约束的蒸馏学习方法, 充分利用教师网络模型的特征来指导学生模型高效的识别异常图像. 具体地, 引入vision transformer (ViT)作为异常检测任务的主干网络, 并提出中心特征策略约束学生网络的输出特征. 由于教师网络的特征表达能力较强, 特征中心策略从教师网络中动态地为学生网络生成正常样本的特征表示中心, 从而提升学生网络对正常数据特征输出的描述能力, 进而扩大了学生网络和教师网络对于异常数据的特征差异; 另一方面, 为了最小化学生网络和教师网络在正常图像特征表示上的差异, 引入格拉姆(Gram)损失函数对学生网络编码层之间的关系进行约束. 在3个异常检测通用数据集和1个真实工业异常检测数据集上进行了实验验证, 相比当前最优方法, 所提方法取得了显著的性能提升.

来源：2023年第9期

《软件学报》期刊编辑部

查看软件学报杂志2023年第9期