软件学报

作者：沐燕舟，王赞，陈翔，陈俊洁，赵静珂，王建敏

单位：沐燕舟，天津大学智能与计算学部, 天津 30035011,王赞，天津大学智能与计算学部, 天津 300350;天津大学新媒体与传播学院, 天津 30007202,陈翔，南通大学信息科学技术学院, 江苏 南通 22601903,陈俊洁，天津大学智能与计算学部, 天津 30035004,赵静珂，天津大学新媒体与传播学院, 天津 30007205,王建敏，中国科学院空间应用工程与技术中心, 北京 10009406

关键词：深度学习;软件测试;测试输入选择;多目标优化;遗传进化

基金：基金项目:国家自然科学基金(61872263);基础加强计划技术领域基金(2020-JCJQ-JJ-490);2020年天津市智能制造专项资金

随着深度学习技术的快速发展,对其质量保障的研究也逐步增多.传感器等技术的迅速发展,使得收集测试数据变得不再困难,但对收集到的数据进行标记却需要花费高昂的代价.已有工作尝试从原始测试集中筛选出一个测试子集以降低标记成本,这些测试子集保证了与原始测试集具有相近的整体准确率(即待测深度学习模型在测试集全体测试输入上的准确率),但却不能保证在其他测试性质上与原始测试集相近.例如,不能充分覆盖原始测试集中各个类别的测试输入.提出了一种基于多目标优化的深度学习测试输入选择方法DMOS (deep multi-objective selection),其首先基于HDBSCAN (hierarchical density-based spatial clustering of applications with noise)聚类方法初步分析原始测试集的数据分布,然后基于聚类结果的特征设计多个优化目标,接着利用多目标优化求解出合适的选择方案.在8组经典的深度学习测试集和模型上进行了大量实验,结果表明,DMOS方法选出的最佳测试子集(性能最好的Pareto最优解对应的测试子集)不仅能够覆盖原始测试集中更多的测试输入类别,而且对各个类别测试输入的准确率估计非常接近原始测试集.同时,它还能保证在整体准确率以及测试充分性上的估计也接近于原始测试集:对整体准确率估计的平均误差仅为1.081%,比最新方法PACE (practical accuracy estimation)减小了0.845%的误差,提升幅度为43.87%;对各个类别测试输入的准确率估计的平均误差仅为5.547%,比最新方法PACE减小了2.926%的误差,提升幅度为34.53%;对5种测试充分性度量的平均估计误差仅为8.739%,比最新方法PACE减小了7.328%的误差,提升幅度为45.61%.

来源：2022年第7期

《软件学报》期刊编辑部

查看软件学报杂志2022年第7期