软件学报

作者：唐秀，伍赛，侯捷，陈刚

单位：唐秀，浙江大学 软件学院, 浙江 宁波 31510311,伍赛，浙江大学 软件学院, 浙江 宁波 315103;浙江大学 计算机科学与技术学院, 浙江 杭州 31002702,侯捷，浙江大学 软件学院, 浙江 宁波 31510303,陈刚，浙江大学 软件学院, 浙江 宁波 315103;浙江大学 计算机科学与技术学院, 浙江 杭州 31002704

关键词：多模态模型训练;主动学习;样本检索

基金：国家重点研发计划(2022YFB3304100)

深度学习中,多模态模型的训练通常需要大量高质量不同类型的标注数据,如图像、文本、音频等.然而,获取大规模的多模态标注数据是一项具有挑战性和昂贵的任务.为了解决这一问题,主动学习作为一种有效的学习范式被广泛应用,能够通过有针对性地选择最有信息价值的样本进行标注,从而降低标注成本并提高模型性能.现有的主动学习方法往往面临着低效的数据扫描和数据位置调整问题,当索引需要进行大范围的更新时,会带来巨大的维护代价.为解决这些问题,提出了一种面向多模态模型训练的高效样本检索技术So-CBI.该方法通过感知模型训练类间边界点,精确评估样本对模型的价值;设计了半有序的高效样本索引,通过结合数据排序信息和部分有序性,降低了索引维护代价和时间开销.在多组多模态数据集上通过与传统主动学习训练方法实验对比,验证了So-CBI方法在主动学习下的训练样本检索问题上的有效性.

来源：2024年第3期

《软件学报》期刊编辑部

查看软件学报杂志2024年第3期