软件学报

作者：窦慧，张凌茗，韩峰，申富饶，赵健

单位：窦慧，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023;南京大学 计算机科学与技术系, 江苏 南京 21002311,张凌茗，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023;南京大学 计算机科学与技术系, 江苏 南京 21002302,韩峰，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023;南京大学 计算机科学与技术系, 江苏 南京 21002303,申富饶，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023;南京大学 人工智能学院, 江苏 南京 21002304,赵健，南京大学 电子科学与工程学院, 江苏 南京 21002305

关键词：神经网络;可解释性;分类;深度学习

基金：科技部科技创新2030重大项目(2021ZD0201300); 国家自然科学基金(61876076)

神经网络模型性能日益强大, 被广泛应用于解决各类计算机相关任务, 并表现出非常优秀的能力, 但人类对神经网络模型的运行机制却并不完全理解. 针对神经网络可解释性的研究进行了梳理和汇总, 就模型可解释性研究的定义、必要性、分类、评估等方面进行了详细的讨论. 从解释算法的关注点出发, 提出一种神经网络可解释算法的新型分类方法, 为理解神经网络提供一个全新的视角. 根据提出的新型分类方法对当前卷积神经网络的可解释方法进行梳理, 并对不同类别解释算法的特点进行分析和比较. 同时, 介绍了常见可解释算法的评估原则和评估方法. 对可解释神经网络的研究方向与应用进行概述. 就可解释神经网络面临的挑战进行阐述, 并针对这些挑战给出可能的解决方向.

来源：2024年第1期

《软件学报》期刊编辑部

查看软件学报杂志2024年第1期