软件学报

作者：殷崭祚，李博涵，王萌，黄瑞龙，吴文隆，王昊奋

单位：殷崭祚，南京航空航天大学 计算机科学与技术学院, 江苏 南京 21110611,李博涵，南京航空航天大学 计算机科学与技术学院, 江苏 南京 211106;软件新技术与产业化协同创新中心, 江苏 南京 211106;空天地海一体化大数据应用技术国家工程实验室 (西北工业大学), 陕西 西安 71011902,王萌，同济大学 设计创意学院, 上海 20009203,黄瑞龙，南京航空航天大学 计算机科学与技术学院, 江苏 南京 21110604,吴文隆，南京航空航天大学 计算机科学与技术学院, 江苏 南京 21110605,王昊奋，同济大学 设计创意学院, 上海 20009206

关键词：部分多模态哈希;多模态数据检索;细粒度特征融合

基金：国家重点研发计划(2020YFB1708100);“十四五”民用航天技术预先研究项目(D020101);国家自然科学基金(62172351);高安全系统的软件开发与验证技术工业和信息化部重点实验室资助项目(NJ2018014);河北省软件工程重点实验室项目

多模态数据的指数级增长使得传统数据库在存储和检索方面遇到挑战,而多模态哈希通过融合多模态特征并映射成二进制哈希码,能够有效地降低数据库的存储开销并提高其检索效率.虽然目前已经有许多针对多模态哈希的工作取得了较好的效果,但是仍然存在着3个重要问题:(1)已有方法偏向于考虑所有样本都是模态完整的,然而在实际检索场景中,样本缺失部分模态的情况依然存在;(2)大多数方法都是基于浅层学习模型,这不可避免地限制了模型的学习能力,从而影响最终的检索效果;(3)针对模型学习能力弱的问题已提出了基于深度学习框架的方法,但是它们在提取各个模态的特征后直接采用了向量拼接等粗粒度特征融合方法,未能有效地捕获深层语义信息,从而弱化了哈希码的表示能力并影响最终的检索效果.针对以上问题,提出了PMH-F3模型.该模型针对样本缺失部分模态的情况,实现了部分多模态哈希.同时,基于深层网络架构,利用Transformer编码器,以自注意力方式捕获深层语义信息,并实现细粒度的多模态特征融合.基于MIR Flickr和MS COCO数据集进行了充分实验并取得了最优的检索效果.实验结果表明:所提出的PMH-F3模型能够有效地实现部分多模态哈希,并可应用于大规模多模态数据检索.

来源：2024年第3期

《软件学报》期刊编辑部

查看软件学报杂志2024年第3期