软件学报

作者：孙泽辰，肖义胜，李俊涛，张民，周国栋

单位：孙泽辰，苏州大学 计算机科学与技术学院, 江苏 苏州 21500811,肖义胜，苏州大学 计算机科学与技术学院, 江苏 苏州 21500802,李俊涛，苏州大学 计算机科学与技术学院, 江苏 苏州 21500803,张民，苏州大学 计算机科学与技术学院, 江苏 苏州 21500804,周国栋，苏州大学 计算机科学与技术学院, 江苏 苏州 21500805

关键词：捷径学习;生成式预训练语言模型;自然语言理解

基金：国家自然科学基金(62206194); 江苏省自然科学基金(BK20220488)

先前的预训练语言模型已在众多自然语言理解任务中展现了其卓越的性能. 然而, 它们常表现出捷径学习的问题, 即学习了非鲁棒性特征与标签之间的虚假关联, 导致模型在不同于训练分布的测试场景中的泛化能力不佳. 近期, 生成式预训练大模型在理解任务中的出色表现引起了广泛的关注, 但它们是否受到捷径学习的影响尚未被充分研究. 以LLaMA系列模型与FLAN-T5模型为代表, 探究生成式预训练大模型在多个自然语言理解任务中的捷径学习现象. 研究结果表明, 近期流行的生成式大模型仍然存在捷径学习的问题. 进而, 提出针对生成式预训练大模型的捷径学习问题的缓解策略——基于可控性解释的混合数据增强框架. 该框架以数据为中心, 基于模型生成的可控性解释数据与部分原始提示性数据构造小规模混合数据集, 开展模型微调. 在3个具有代表性的自然语言理解任务中的大量实验结果表明, 使用该框架所构造的数据集训练模型能够有效缓解模型的捷径学习问题, 提升模型在分布外测试场景中的鲁棒性与泛化能力, 同时不牺牲甚至提升模型在分布内测试场景中的性能. 代码已公开发布在https://github.com/Mint9996/HEDA.

来源：2025年第4期

《软件学报》期刊编辑部

查看软件学报杂志2025年第4期