软件学报

作者：张天明，张杉，刘曦，曹斌，范菁

单位：张天明，浙江工业大学 计算机科学与技术学院, 浙江 杭州 31002311,张杉，浙江工业大学 计算机科学与技术学院, 浙江 杭州 31002302,刘曦，浙江工业大学 计算机科学与技术学院, 浙江 杭州 31002303,曹斌，浙江工业大学 计算机科学与技术学院, 浙江 杭州 31002304,范菁，浙江工业大学 计算机科学与技术学院, 浙江 杭州 31002305

关键词：命名实体识别;多模态数据;小样本学习;元学习;去噪网络

基金：国家自然科学基金(62276233,62302451);浙江省自然科学基金(LQ22F020018);浙江省重点研发项目(2023C01048)

作为自然语言处理领域的关键子任务,命名实体识别通过提取文本中的关键信息,帮助机器翻译、文本生成、知识图谱构建以及多模态数据融合等许多下游任务深度理解文本蕴含的复杂语义信息,有效地完成任务.在实际生活中,由于时间和人力等成本问题,命名实体识别任务常常受限于标注样本的稀缺.尽管基于文本的小样本命名实体识别方法已取得较好的泛化表现,但由于样本量有限,使得模型能提取的语义信息也十分受限,进而导致模型预测效果依然不佳.针对标注样本稀缺给基于文本的小样本命名实体识别方法带来的挑战,提出了一种融合多模态数据的小样本命名实体识别模型,借助多模态数据提供额外语义信息,帮助模型提升预测效果,进而可以有效提升多模态数据融合、建模效果.该方法将图像信息转化为文本信息作为辅助模态信息,有效地解决了由文本与图像蕴含语义信息粒度不一致导致的模态对齐效果不佳的问题.为了有效地考虑实体识别中的标签依赖关系,使用CRF框架并使用最先进的元学习方法分别作为发射模块和转移模块.为了缓解辅助模态中的噪声样本对模型的负面影响,提出一种基于元学习的通用去噪网络.该去噪网络在数据量十分有限的情况下,依然可以有效地评估辅助模态中不同样本的差异性以及衡量样本对模型的有益程度.最后,在真实的单模态和多模态数据集上进行了大量的实验.实验结果验证了该方法的预测F1值比基准方法至少提升了10%,并具有良好的泛化性.

来源：2024年第3期

《软件学报》期刊编辑部

查看软件学报杂志2024年第3期