软件学报

作者：于邓,刘玉杰,邢敏敏,李宗民,李华

单位：于邓，中国石油大学(华东) 计算机通信工程学院, 山东 青岛 26658011,刘玉杰，中国石油大学(华东) 计算机通信工程学院, 山东 青岛 26658002,邢敏敏，中国石油大学(华东) 计算机通信工程学院, 山东 青岛 26658003,李宗民，中国石油大学(华东) 计算机通信工程学院, 山东 青岛 26658004,李华，中国科学院 计算计算技术研究所, 北京 10019005

关键词：手绘草图检索;跨域建模;多层深度融合卷积神经网络;特征融合;深度学习

基金：国家自然科学基金（61379106，61379082，61227802）；山东省自然科学基金（ZR2013FM036，ZR2015FM011）

在手绘草图检索（sketch-based image retrieval，简称SBIR）领域，引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性，这是因为，与自然图片相比，手绘草图展现出高度抽象的视觉表达，用现有的方法对手绘草图进行特征提取，其产生的特征描述子对于手绘草图的内容无法进行有效地拟合；对于相同的物体，不同的人群用手绘草图描述方式和表达也存在巨大的差距，这就使得手绘草图-自然图片的匹配更加困难；同时，将手绘草图与自然图片映射到相同视觉域的工作，也是一项具有困难的任务.所以，手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时，引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验，实验结果显示，多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network，简称CNN）的特征.

来源：2019年第11期

《软件学报》期刊编辑部

查看软件学报杂志2019年第11期