软件学报

作者：刘鑫，景丽萍，于剑

单位：刘鑫，交通数据分析与挖掘北京市重点实验室(北京交通大学), 北京 100044;北京交通大学 计算机与信息技术学院, 北京 10004411,景丽萍，交通数据分析与挖掘北京市重点实验室(北京交通大学), 北京 100044;北京交通大学 计算机与信息技术学院, 北京 10004402,于剑，交通数据分析与挖掘北京市重点实验室(北京交通大学), 北京 100044;北京交通大学 计算机与信息技术学院, 北京 10004403

关键词：小样本学习;元学习;任务Mixup;多样性;真实性

基金：中央高校基本科研业务费(2019JBZ110); 北京市自然基金(L211016); 国家自然科学基金(62176020);国家重点研发计划(2020AAA0106800)

随着大数据、计算机与互联网等技术的不断进步, 以机器学习和深度学习为代表的人工智能技术取得了巨大成功, 尤其是最近不断涌现的各种大模型, 极大地加速了人工智能技术在各个领域的应用. 但这些技术的成功离不开海量训练数据和充足的计算资源, 大大限制了这些方法在一些数据或计算资源匮乏领域的应用. 因此, 如何利用少量样本进行学习, 也就是小样本学习成为以人工智能技术引领新一轮产业变革中一个十分重要的研究问题. 小样本学习中最常用的方法是基于元学习的方法, 这类方法通过在一系列相似的训练任务上学习解决这类任务的元知识, 在新的测试任务上利用元知识可以进行快速学习. 虽然这类方法在小样本分类任务上取得了不错的效果, 但是这类方法的一个潜在假设是训练任务和测试任务来自同一分布. 这意味着训练任务需要足够多才能使模型学到的元知识泛化到不断变化的测试任务中. 但是在一些真正数据匮乏的应用场景, 训练任务的数量也是难以保证的. 为此, 提出一种基于多样真实任务生成的鲁棒小样本分类方法(DATG). 该方法通过对已有少量任务进行Mixup, 可以生成更多的训练任务帮助模型进行学习. 通过约束生成任务的多样性和真实性, 该方法可以有效提高小样本分类方法的泛化性. 具体来说, 先对训练集中的基类进行聚类得到不同的簇, 然后从不同的簇中选取任务进行Mixup以增加生成任务的多样性. 此外, 簇间任务Mixup策略可以减轻学习到与类别高度相关的伪判别特征. 同时, 为了避免生成的任务与真实分布太偏离, 误导模型学习, 通过最小化生成任务与真实任务之间的最大均值差异(MMD)来保证生成任务的真实性. 最后, 从理论上分析了为什么基于簇间任务Mixup的策略可以提高模型的泛化性能. 多个数据集上的实验结果进一步证明了所提出的基于多样性和真实性任务扩充方法的有效性.

来源：2024年第4期

《软件学报》期刊编辑部

查看软件学报杂志2024年第4期