软件学报

北大核心,INSPEC,JST,Pж(AJ),EI

国内刊号:11-2560/TP

国际刊号:1000-9825

软件学报杂志2025年第12期:基于常识推理问答的多模态题文不符检测

发布日期:

作者:余建兴,王世祺,陈祺,赖韩江,饶洋辉,苏勤亮,印鉴

单位:余建兴,中山大学 人工智能学院, 广东 珠海 519082;可持续旅游智能评测技术文化和旅游部重点实验室 (中山大学), 广东 珠海 510006;人工智能与数字经济广东省实验室(广州), 广东 广州 51033011,王世祺,中山大学 人工智能学院, 广东 珠海 51908202,陈祺,中山大学 人工智能学院, 广东 珠海 51908203,赖韩江,中山大学 计算机学院, 广东 广州 51000604,饶洋辉,中山大学 计算机学院, 广东 广州 51000605,苏勤亮,中山大学 计算机学院, 广东 广州 51000606,印鉴,中山大学 人工智能学院, 广东 珠海 519082;可持续旅游智能评测技术文化和旅游部重点实验室 (中山大学), 广东 珠海 51000607

关键词:题文不符检测;常识推理;提问生成

基金:国家自然科学基金(62276279, 62372483, 62276280, U2001211, U22B2060); 广东省基础与应用基础研究基金(2024B1515020032); 广州市科技计划(2023B01J0001, 2024B01W0004)

主要研究题文不符的社交推文检测任务. 这些推文往往通过欺骗性的标题或封面图来误导读者点击与之无关的低质内容, 以让其广泛传播和带来点击量等商业利益. 为了规避检测, 恶意的创作者还会使用各种窍门将题文不符的推文伪装成合法的, 譬如添加无关易混淆的合法内容来干扰检测器. 检测这种推文需要对细节反复推敲, 甚至还要借助外部的常识进行多步推理验证. 然而, 传统方法一般把推文看成是一堆词语符号并简单灌入神经网络做分类, 忽略对其内在隐含的虚假细节进行分析, 导致漏判和误判. 而且这种黑盒子般的模型缺乏可解释性. 为了解决这些问题, 提出一种问答引导的新检测器, 通过质疑-验证的方式对细节逐一分析, 以发现潜在的不一致和虚假点. 首先利用多模态检索增强技术提取推文中的细节点, 然后通过提问的方式来质疑每个点. 为了充分验证事实和其复杂关系, 不仅覆盖简单的浅层匹配提问, 还有深层次常识推理的高阶提问. 每个提问可以从推文中找到字面答案. 但是该答案可能是虚构和不准确的. 为此, 通过开放域的问答模型借助外部知识源来交叉验证, 推导出相对可信的答案. 当两个答案不同时, 推文很可能存在虚假内容. 这种不一致可以作为有效的特征, 并与其他多模态的语义特征结合, 以提高检测模型的判别能力和鲁棒性. 此外, 这可以把复杂的检测任务分解为一系列问答步骤, 便于找出不一致细节来解释引起题文不符的原因. 在3个主流数据集上做了充分的实验, 验证了该方法的有效性.

来源:2025年第12期

《软件学报》期刊编辑部

查看软件学报杂志2025年第12期

联系我们

  • 地址:北京8718信箱
  • 电话:010-62562563
  • E-mail:jos (a) iscas. ac. cn

咨询工作人员