软件学报

作者：张学锋，李金晶

单位：张学锋，安徽工业大学 计算机科学与技术学院, 安徽 马鞍山 24300011,李金晶，安徽工业大学 计算机科学与技术学院, 安徽 马鞍山 24300002

关键词：单幅图像去雨;双注意力机制;残差网络;门控网络

基金：安徽省教育厅重大课题（KJ2017ZD05）；安徽高校协同创新项目（GXXT-2019-008）

降雨会严重降低拍摄图像质量和影响户外视觉任务.由于不同图像中，雨的形状、方向和密度不同，导致单幅图像去雨是一项困难的任务.提出一种新的基于双注意力的残差循环单幅图像去雨集成网络（简称RDARENet）.在网络中，因为上下文的信息对于去除雨痕十分重要，所以首先采用多尺度的扩张卷积网络去获得更大的感受野.雨痕信息可以认为是多个雨层特征的叠加，为了更好地提取雨痕的特征和恢复背景图层信息，运用了通道和空间注意力机制的残差网络.通道注意力能够反映不同雨层的权重，而空间注意力则通过相邻空间特征之间的关系增强区域的表征.随着网络的加深，防止低层信息的丢失，采用级联的残差网络和长短时间记忆网络，将低层特征信息传递到高层中去，逐阶段地去除雨痕.在网络的输出部分，采用集成学习的方式，将每个阶段的输出结果通过门控网络加权相加，得到最终的无雨图像.实验结果表明，去雨和恢复纹理细节的效果都得到较大提升.

来源：2021年第10期

《软件学报》期刊编辑部

查看软件学报杂志2021年第10期