软件学报

作者：孙上荃，任文琦，操晓春

单位：孙上荃，中国科学院 信息工程研究所, 北京 100085;中国科学院大学 网络空间安全学院, 北京 10004911,任文琦，中山大学 网络空间安全学院, 广东 深圳 51810702,操晓春，中山大学 网络空间安全学院, 广东 深圳 51810703

关键词：视频去雨;事件数据;多模态融合;空间注意力;时间记忆力

基金：国家自然科学基金(62172409);深圳市科技计划(JCYJ20220530145209022)

近年来数码视频拍摄设备不断升级, 其感光元件宽容度、快门速率的提升虽然极大程度地丰富了可拍摄景物的多样性, 雨痕这类由于雨滴高速穿过景深范围的退化元素也更容易被记录到, 作为前景的稠密雨痕阻挡了背景景物的有效信息, 从而影响图像的有效采集. 由此视频图像去雨成为一个亟待解决的问题, 以往的视频去雨方法集中在利用常规图像自身的信息, 但是由于常规相机的感光元件物理极限、快门机制约束等原因, 许多光学信息在采集时丢失, 影响后续的视频去雨效果. 由此, 利用事件数据与常规视频信息的互补性, 借助事件信息的高动态范围、时间分辨率高等优势, 提出基于事件数据融合与空间注意力和时间记忆力的视频去雨网络, 利用三维对齐将稀疏事件流转化为与图像大小匹配的表达形式, 叠加输入至集合了空间注意力机制的事件-图像融合处理模块, 有效提取图像的空间信息, 并在连续帧处理时使用跨帧记忆力模块将先前帧特征利用, 最后经过三维卷积与两个损失函数的约束. 在开源视频去雨数据集上验证所提方法的有效性, 同时达到了实时视频处理的标准.

来源：2024年第5期

《软件学报》期刊编辑部

查看软件学报杂志2024年第5期