软件学报

作者：陈嘉言，任东东，李文斌，霍静，高阳

单位：陈嘉言，南京大学 计算机科学与技术系, 江苏 南京 21002311,任东东，南京大学 计算机科学与技术系, 江苏 南京 21002302,李文斌，南京大学 计算机科学与技术系, 江苏 南京 21002303,霍静，南京大学 计算机科学与技术系, 江苏 南京 21002304,高阳，南京大学 计算机科学与技术系, 江苏 南京 21002305

关键词：深度学习;小样本学习;图像识别;知识蒸馏;模型轻量化

基金：国家自然科学基金(62106100,62192783,62276128);江苏省自然科学基金(BK20221441);江苏省双创博士项目(JSSCBS20210021)

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力, 对解决样本匮乏情境下的深度学习任务具有重要意义. 但是, 在诸多计算资源有限的现实任务中, 模型规模仍可能限制小样本学习的广泛应用. 这对面向小样本学习的轻量化任务提出了现实的需求. 知识蒸馏作为深度学习领域广泛使用的辅助策略, 通过额外的监督信息实现模型间知识迁移, 在提升模型精度和压缩模型规模方面都有实际应用. 首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性. 并结合小样本学习任务的特点, 针对性地设计两种新的小样本蒸馏方法: (1)基于图像局部特征的蒸馏方法; (2)基于辅助分类器的蒸馏方法. 在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.

来源：2024年第5期

《软件学报》期刊编辑部

查看软件学报杂志2024年第5期