软件学报

作者：欧阳亚文，高源，宗石，鲍宇，戴新宇

单位：欧阳亚文，计算机软件新技术国家重点实验室 (南京大学), 江苏 南京 210023;南京大学 计算机科学与技术系, 江苏 南京 21002311,高源，计算机软件新技术国家重点实验室 (南京大学), 江苏 南京 210023;南京大学 计算机科学与技术系, 江苏 南京 21002302,宗石，南京大学 计算机科学与技术系, 江苏 南京 21002303,鲍宇，计算机软件新技术国家重点实验室 (南京大学), 江苏 南京 210023;南京大学 计算机科学与技术系, 江苏 南京 21002304,戴新宇，计算机软件新技术国家重点实验室 (南京大学), 江苏 南京 210023;南京大学 计算机科学与技术系, 江苏 南京 21002305

关键词：机器学习;分布外检测;生成式模型;文本检索;预训练语言模型

基金：国家自然科学基金 (61936012, 61976114)

对于安全可靠的机器学习系统, 具备检测训练集分布外 (out-of-distribution, OOD) 样本的能力十分必要. 基于似然的生成式模型由于训练时不需要样本标签, 是一类非常受欢迎的OOD检测方法. 然而, 近期研究表明通过似然来检测OOD样本往往会失效, 并且失效原因与解决方案的探究仍较少, 尤其是对于文本数据. 从模型层面和数据层面分析文本上失效的原因: 生成式模型的泛化性不足和文本先验概率的偏差. 在此基础上, 提出一种新的OOD文本检测方法Pobe. 针对生成式模型泛化性不足的问题, 引入KNN检索的方式, 来提升模型的泛化性. 针对文本先验概率偏差的问题, 设计一种偏差校准策略, 借助预训练语言模型改善概率偏差对OOD检测的影响, 并通过贝叶斯定理证明策略的合理性. 通过在广泛的数据集上进行实验, 证明所提方法的有效性, 其中, 在8个数据集上的平均AUROC值超过99%, FPR95值低于1%.

来源：2024年第9期

《软件学报》期刊编辑部

查看软件学报杂志2024年第9期