软件学报

作者：钱亚冠，马骏，何念念，王滨，顾钊铨，凌祥，Wassim Swaileh

单位：钱亚冠，浙江科技学院 大数据学院, 浙江 杭州 31002311,马骏，浙江科技学院 大数据学院, 浙江 杭州 31002302,何念念，浙江科技学院 大数据学院, 浙江 杭州 31002303,王滨，杭州海康威视网络与信息安全实验室, 浙江 杭州 31005204,顾钊铨，广州大学 网络空间先进技术研究院, 广东 广州 51000605,凌祥，浙江大学 计算机科学与技术学院, 浙江 杭州 31005806,Wassim Swaileh，CY Cergy Paris University, ETIS Research Laboratory, Paris 9503207

关键词：对抗样本;对抗训练;知识迁移;知识蒸馏

基金：浙江省自然科学基金（LY17F020011）；国家重点研发计划（2018YFB2100400）；国家自然科学基金（61902082）；

对抗样本的出现，对深度学习的鲁棒性提出了挑战.随着边缘智能的兴起，如何在计算资源有限的边缘设备上部署鲁棒的精简深度学习模型，是一个有待解决的问题.由于精简模型无法通过常规的对抗训练获得良好的鲁棒性，提出两阶段对抗知识迁移的方法，先将对抗知识从数据向模型迁移，然后将复杂模型获得的对抗知识向精简模型迁移.对抗知识以对抗样本的数据形式蕴含，或以模型决策边界的形式蕴含.具体而言，利用云平台上的GPU集群对复杂模型进行对抗训练，实现对抗知识从数据向模型迁移；利用改进的蒸馏技术将对抗知识进一步从复杂模型向精简模型的迁移，最后提升边缘设备上精简模型的鲁棒性.在MNIST，CIFAR-10和CIFAR-100这3个数据集上进行验证，实验结果表明：提出的这种两阶段对抗知识迁移方法可以有效地提升精简模型的性能和鲁棒性，同时加快训练过程的收敛性.

来源：2022年第12期

《软件学报》期刊编辑部

查看软件学报杂志2022年第12期