软件学报

作者：王永胜，李培峰，王中卿，朱巧明

单位：王永胜，苏州大学 计算机科学与技术学院, 江苏 苏州 21500611,李培峰，苏州大学 计算机科学与技术学院, 江苏 苏州 21500602,王中卿，苏州大学 计算机科学与技术学院, 江苏 苏州 21500603,朱巧明，苏州大学 计算机科学与技术学院, 江苏 苏州 21500604

关键词：多模态信息抽取;多模态命名实体识别;多模态实体关系抽取

基金：国家自然科学基金(62276177, 61836007); 江苏高校优势学科建设工程项目

多模态信息抽取任务是指从非结构化或半结构化的多模态数据(包含文本和图像等)中提取结构化知识. 其研究内容主要包含多模态命名实体识别、多模态实体关系抽取和多模态事件抽取. 首先对多模态信息抽取任务进行分析, 然后对多模态命名实体识别、多模态实体关系抽取和多模态事件抽取这3个子任务的共同部分, 即多模态表示和融合模块进行归纳和总结. 随后梳理上述3个子任务的常用数据集和主流研究方法. 最后总结多模态信息抽取的研究趋势并分析该研究存在的问题和挑战, 为后续相关研究提供参考.

来源：2025年第4期

《软件学报》期刊编辑部

查看软件学报杂志2025年第4期