软件学报

作者：李志欣，侯传文，谢秀敏

单位：李志欣，广西多源信息挖掘与安全重点实验室 (广西师范大学), 广西 桂林 54100411,侯传文，广西多源信息挖掘与安全重点实验室 (广西师范大学), 广西 桂林 54100402,谢秀敏，广西多源信息挖掘与安全重点实验室 (广西师范大学), 广西 桂林 54100403

关键词：关系图推理;跨模态哈希检索;相似度矩阵;K近邻;分步训练策略

基金：国家自然科学基金(61966004, 61866004); 广西自然科学基金(2019GXNSFDA245018)

大多数跨模态哈希检索方法仅使用余弦相似度进行特征匹配, 计算方式过于单一, 没有考虑到实例的关系对于性能的影响. 为此, 提出一种基于多重实例关系图推理的方法, 通过构造相似度矩阵, 建立全局和局部的实例关系图, 充分挖掘实例之间的细粒度关系. 在多重实例关系图的基础上进行相似度推理, 首先分别进行图像模态和文本模态关系图内部的推理, 然后将模态内的关系映射到实例图中进行推理, 最后执行实例图内部的推理. 此外, 为了适应图像和文本两种模态的特点, 使用分步训练策略训练神经网络. 在MIRFlickr和NUS-WIDE数据集上实验表明, 提出的方法在mAP指标上具有很明显的优势, 在Top-k-Precision曲线上也获得良好的效果. 这也说明所提方法对实例关系进行深入挖掘, 从而显著地提升检索性能.

来源：2023年第11期

《软件学报》期刊编辑部

查看软件学报杂志2023年第11期