软件学报

作者：李航宇，王楠楠，朱明瑞，杨曦，高新波

单位：李航宇，综合业务网理论及关键技术国家重点实验室(西安电子科技大学), 陕西 西安 71007111,王楠楠，综合业务网理论及关键技术国家重点实验室(西安电子科技大学), 陕西 西安 71007102,朱明瑞，综合业务网理论及关键技术国家重点实验室(西安电子科技大学), 陕西 西安 71007103,杨曦，综合业务网理论及关键技术国家重点实验室(西安电子科技大学), 陕西 西安 71007104,高新波，重庆邮电大学 计算机科学与技术学院, 重庆 40006505

关键词：神经结构搜索;自动化机器学习;深度学习;神经网络;规范化评估

基金：国家重点研发计划(2018AAA0103202); 国家自然科学基金(61922066, 61876142, 62036007)

近年来, 深度神经网络(DNNs)在许多人工智能任务中取得卓越表现, 例如计算机视觉(CV)、自然语言处理(NLP). 然而, 网络设计严重依赖专家知识, 这是一个耗时且易出错的工作. 于是, 作为自动化机器学习(AutoML)的重要子领域之一, 神经结构搜索(NAS)受到越来越多的关注, 旨在以自动化的方式设计表现优异的深度神经网络模型. 全面细致地回顾神经结构搜索的发展过程, 进行了系统总结. 首先, 给出了神经结构搜索的研究框架, 并分析每个研究内容的作用; 接着, 根据其发展阶段, 将现有工作划分为4个方面, 介绍各阶段发展的特点; 然后, 介绍现阶段验证结构搜索效果经常使用的数据库, 创新性地总结该领域的规范化评估标准, 保证实验对比的公平性, 促进该领域的长久发展; 最后, 对神经结构搜索研究面临的挑战进行了展望与分析.

来源：2022年第1期

《软件学报》期刊编辑部

查看软件学报杂志2022年第1期