软件学报

作者：杨朋波，桑基韬，张彪，冯耀功，于剑

单位：杨朋波，北京交通大学 计算机与信息技术学院, 北京 100044;北京交通大学 人工智能研究院, 北京 10004411,桑基韬，北京交通大学 计算机与信息技术学院, 北京 100044;北京交通大学 人工智能研究院, 北京 10004402,张彪，北京交通大学 计算机与信息技术学院, 北京 100044;北京交通大学 人工智能研究院, 北京 10004403,冯耀功，北京交通大学 计算机与信息技术学院, 北京 100044;北京交通大学 人工智能研究院, 北京 10004404,于剑，北京交通大学 计算机与信息技术学院, 北京 100044;北京交通大学 人工智能研究院, 北京 10004405

关键词：深度学习;可解释性;图像分类;特征

基金：国家重点研发计划(2017YFC1703506); 国家自然科学基金(61632004); 中央高校基本科研业务费专项资金(2020YJS027)

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展, 与传统的机器学习算法相比, 深度模型在许多任务上具有较高的准确率. 然而, 作为端到端的具有高度非线性的复杂模型, 深度模型的可解释性没有传统机器学习算法好, 这为深度学习在现实生活中的应用带来了一定的阻碍. 深度模型的可解释性研究具有重大意义而且是非常必要的, 近年来许多学者围绕这一问题提出了不同的算法. 针对图像分类任务, 将可解释性算法分为全局可解释性和局部可解释性算法. 在解释的粒度上, 进一步将全局解释性算法分为模型级和神经元级的可解释性算法, 将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法. 基于上述分类框架, 总结了常见的深度模型可解释性算法以及相关的评价指标, 同时讨论了可解释性研究面临的挑战和未来的研究方向. 认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径, 同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.

来源：2023年第1期

《软件学报》期刊编辑部

查看软件学报杂志2023年第1期