软件学报

作者：韩凯，刘传建，吴恩华

单位：韩凯，计算机科学国家重点实验室 (中国科学院 软件研究所), 北京 100190;中国科学院大学, 北京 10004911,刘传建，华为诺亚方舟实验室, 北京 10008502,吴恩华，计算机科学国家重点实验室 (中国科学院 软件研究所), 北京 100190;澳门大学 科技学院, 澳门 99907803

关键词：神经网络;模型量化;图像分类;目标检测

基金：国家自然科学基金(62332015)

二值神经网络(binary neural network, BNN)因其较少的计算和存储开销而对业界非常有吸引力, 但其准确率仍然比全精度参数的网络差. 大多数现有方法旨在通过利用更有效的训练技术来提高二值神经网络的性能. 然而, 通过实验发现量化后特征的表示能力远弱于全精度的特征. 因此, 提出一种加宽和收缩机制来构建高精度而紧凑的二值神经网络. 首先, 通过将原始全精度网络中的特征投影到高维量化特征来解决量化特征表示能力弱的问题. 同时, 冗余的量化特征将被消除, 以避免某些特征维度的过度增长. 进而建立一个紧凑但具有足够表示能力的量化神经网络. 基准数据集上的实验结果表明, 该方法能够以更少的参数量和计算量建立高精度二值神经网络, 其准确率与全精度基线模型几乎相同, 例如, 二值量化的ResNet-18 在ImageNet数据集上达到了70%的准确率.

来源：2025年第10期

《软件学报》期刊编辑部

查看软件学报杂志2025年第10期