软件学报

作者：龚成，卢冶，代素蓉，刘方鑫，陈新伟，李涛

单位：龚成，南开大学 计算机学院, 天津 300350;天津市网络和数据安全技术重点实验室(南开大学), 天津 30035011,卢冶，南开大学 计算机学院, 天津 300350;天津市网络和数据安全技术重点实验室(南开大学), 天津 30035002,代素蓉，南开大学 计算机学院, 天津 300350;天津市网络和数据安全技术重点实验室(南开大学), 天津 30035003,刘方鑫，南开大学 计算机学院, 天津 300350;天津市网络和数据安全技术重点实验室(南开大学), 天津 30035004,陈新伟，工业机器人应用福建省高校工程研究中心(闽江学院), 福建 福州 35012105,李涛，南开大学 计算机学院, 天津 300350;天津市网络和数据安全技术重点实验室(南开大学), 天津 300350;计算机体系结构国家重点实验室(中国科学院 计算技术研究所), 北京 10019006

关键词：神经网络压缩;神经网络量化;权值分布;均匀量化;量化损失最优解

基金：国家重点研发计划（2018YFB2100300）；国家自然科学基金（62002175，61872200）；天津自然科学基金（19JCZDJC31600，19JCQNJC00600）；计算机体系结构国家重点实验室（中国科学院计算技术研究所）开放课题（CARCHB202016，CARCH201905）；中国高校产学研创新基金（2020HYA01003）；工业机器人应用福建省高校工程研究中心（闽江学院）开放基金（MJUKF-IRA1902）

深度神经网络（deep neural network，简称DNN）量化是一种高效的模型压缩方法，使用少量位宽表示模型计算过程中的参数和中间结果数据.数据位宽会直接影响内存占用、计算效率和能耗.以往的模型量化研究缺乏有效的定量分析，这导致量化损失难以预测.提出了一种超低损失的DNN量化方法（ultra-low loss quantization，简称μL2Q），以揭示量化位宽与量化损失之间的内在联系，指导量化位宽选择并降低量化损失.首先，将原始数据映射为标准正态分布的数据；然后，在等宽的量化区间中搜索最优量化参数；最后，将μL2Q方法融合进DNN的训练过程，并嵌入到主流的机器学习框架Caffe及Keras中，以支撑端到端模型压缩的设计和训练.实验结果表明，与最新的研究方法相比，在相同的位宽条件下，mL2Q方法能够保证更高的模型精度，在典型的神经网络模型上精度分别提高了1.94%，3.73%和8.24%.显著性物体检测实验结果表明，μL2Q方法能够胜任复杂的计算机视觉任务.

来源：2021年第8期

《软件学报》期刊编辑部

查看软件学报杂志2021年第8期