软件学报

作者：胡鹏，彭玺，彭德中

单位：胡鹏，四川大学 计算机学院, 四川 成都 61006511,彭玺，四川大学 计算机学院, 四川 成都 61006502,彭德中，四川大学 计算机学院, 四川 成都 610065;成都瑞贝英特信息技术有限公司, 四川 成都 61009403

关键词：无监督哈希学习;跨模态检索;锚点图;可微分哈希;公共汉明空间

基金：国家自然科学基金(62102274, 62176171, U21B2040 U19A2078); 四川省科技计划(2021YFS0389, 2022YFQ0014, 2022YFSY0047, 2022YFH0021); 中央高校基本科研业务费专项资金(YJ202140); 中国博士后科学基金(2021M692270)

基于图的无监督跨模态哈希学习具有存储空间小、检索效率高等优点, 受到学术界和工业界的广泛关注, 已成为跨模态检索不可或缺的工具之一. 然而, 图构造的高计算复杂度阻碍其应用于大规模多模态应用. 主要尝试解决基于图的无监督跨模态哈希学习面临的两个重要挑战: 1)在无监督跨模态哈希学习中如何高效地构建图? 2)如何解决跨模态哈希学习中的离散值优化问题? 针对这两个问题, 分别提出基于锚点图的跨模态学习和可微分哈希层. 具体地, 首先从训练集中随机地选择若干图文对作为锚点集, 利用该锚点集作为中介计算每批数据的图矩阵, 以该图矩阵指导跨模态哈希学习, 从而能极大地降低空间与时间开销; 其次, 提出的可微分哈希层可在网络前向传播时直接由二值编码计算, 在反向传播时亦可产生梯度进行网络更新, 而无需连续值松弛, 从而具有更好的哈希编码效果; 最后, 引入跨模态排序损失, 使得在训练过程中考虑排序结果, 从而提升跨模态检索正确率. 通过在3个通用数据集上与10种跨模态哈希算法进行对比, 验证了提出算法的有效性.

来源：2024年第8期

《软件学报》期刊编辑部

查看软件学报杂志2024年第8期