软件学报

作者：高晗，田育龙，许封元，仲盛

单位：高晗，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 21002311,田育龙，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 21002302,许封元，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 21002303,仲盛，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 21002304

关键词：深度学习;模型压缩;模型加速;参数剪枝;参数量化;紧凑网络

基金：国家自然科学基金（61872180，61872176）；江苏省“双创计划”；江苏省“六大人才高峰”高层次人才项目（B类）；蚂蚁金服科研基金；中央高校基本科研业务费专项资金（14380069）

随着训练可用数据量的增长与计算平台处理能力的增强，基于深度学习的智能模型能够完成越来越复杂的任务，其在计算机视觉、自然语言处理等人工智能领域已经取得重大的突破.然而，这些深度模型具有庞大的参数规模，与此相伴的可畏的计算开销与内存需求使其在计算能力受限平台（例如移动嵌入式设备）的部署中遇到了巨大的困难与挑战.因此，如何在不影响深度学习模型性能的情况下进行模型压缩与加速成为研究热点.首先对国内外学者提出的经典深度学习模型压缩与加速方法进行分析，从参数剪枝、参数量化、紧凑网络、知识蒸馏、低秩分解、参数共享和混合方式这7个方面分类总结；其次，总结对比几种主流技术的代表性方法在多个公开模型上的压缩与加速效果；最后，对于模型压缩与加速领域的未来研究方向加以展望.

来源：2021年第1期

《软件学报》期刊编辑部

查看软件学报杂志2021年第1期