软件学报

作者：孙海峰，穆正阳，戚琦，王敬宇，刘聪，廖建新

单位：孙海峰，网络与交换国家重点实验室 (北京邮电大学), 北京 10087611,穆正阳，网络与交换国家重点实验室 (北京邮电大学), 北京 10087602,戚琦，网络与交换国家重点实验室 (北京邮电大学), 北京 10087603,王敬宇，网络与交换国家重点实验室 (北京邮电大学), 北京 10087604,刘聪，中国移动通信有限公司研究院, 北京 10005305,廖建新，网络与交换国家重点实验室 (北京邮电大学), 北京 10087606

关键词：深度补全;特征融合;轻量模型;图像处理;自动驾驶

基金：国家重点研发计划(2020YFB1807805); 国家自然科学基金(62071067, 62001054, 61771068)

稠密深度图在自动驾驶和机器人等领域至关重要, 但是现今的深度传感器只能产生稀疏的深度测量, 所以有必要对其进行补全. 在所有辅助模态中, RGB图像是常用且易得的信息. 现今的许多方法都采用RGB和稀疏深度信息结合进行补全. 然而它们绝大部分都是利用通道拼接或逐元素求和简单的对两种模态的信息进行融合, 没有考虑到不用场景下不同模态特征的置信度. 提出一种以输入深度稀疏分布为指导, 结合双模态信息量的动态门控融合模块, 通过动态产生融合权重的方式对两个模态特征进行更高效的结合. 并且根据不同模态的数据特征设计了精简的网络结构. 实验结果表明所提出模块和改进的有效性, 提出的网络在两个有挑战性的公开数据集KITTI depth completion和NYU depth v2上, 使用了很少的参数量达到了先进的结果, 取得了性能和速度的优秀平衡.

来源：2023年第4期

《软件学报》期刊编辑部

查看软件学报杂志2023年第4期