软件学报

作者：刘慧，李珊珊，高珊珊，邓凯，徐岗，张彩明

单位：刘慧，山东财经大学 计算机科学与技术学院, 山东 济南 250014;山东省数字媒体技术重点实验室, 山东 济南 25001411,李珊珊，山东财经大学 计算机科学与技术学院, 山东 济南 250014;山东省数字媒体技术重点实验室, 山东 济南 25001402,高珊珊，山东财经大学 计算机科学与技术学院, 山东 济南 250014;山东省数字媒体技术重点实验室, 山东 济南 25001403,邓凯，山东第一医科大学第一附属医院, 山东 济南 25001304,徐岗，杭州电子科技大学 计算机学院, 浙江 杭州 31001805,张彩明，山东省数字媒体技术重点实验室, 山东 济南 250014;山东大学 软件学院, 山东 济南 25010106

关键词：多模态医学图像;图像融合;预训练模型;双鉴别网络;对抗学习

基金：国家自然科学基金（62072274，U1909210）；山东省科技成果转移转化项目（2021LYXZ011）；浙江省重点研发计划（2021C01108）

随着多模态医学图像在临床诊疗工作中的普及，建立在时空相关性特性基础上的融合技术得到快速发展，融合后的医学图像不仅可以保留各模态源图像的独有特征，而且能够强化互补信息、便于医生阅片.目前大多数方法采用人工定义约束的策略来实现特征提取和特征融合，这容易导致融合图像中部分有用信息丢失和细节不清晰等问题.为此，提出一种基于预训练模型特征提取的双对抗融合网络实现MR-T1/MR-T2图像的融合.该网络由一个特征提取模块、一个特征融合模块和两个鉴别网络模块组成.由于已配准的多模态医学图像数据集规模较小，无法对特征提取网络进行充分的训练，又因预训练模型具有强大的数据表征能力，故将预先训练的卷积神经网络模型嵌入到特征提取模块以生成特征图.然后，特征融合网络负责融合深度特征并输出融合图像.两个鉴别网络通过对源图像与融合图像进行准确分类，分别与特征融合网络建立对抗关系，最终激励其学习出最优的融合参数.实验结果证明了预训练技术在所提方法中的有效性，同时与现有的6种典型融合方法相比，所提方法融合结果在视觉效果和量化指标方面均取得最优表现.

来源：2023年第5期

《软件学报》期刊编辑部

查看软件学报杂志2023年第5期