软件学报

作者：高菲，宋韶旭，王建民

单位：高菲，清华大学 软件学院, 北京 10008411,宋韶旭，清华大学 软件学院, 北京 100084;大数据系统软件国家工程实验室, 北京 100084;北京信息科学与技术国家研究中心(清华大学), 北京 10008402,王建民，清华大学 软件学院, 北京 100084;大数据系统软件国家工程实验室, 北京 100084;北京信息科学与技术国家研究中心(清华大学), 北京 10008403

关键词：时间序列;多区间速度约束;数据清洗;动态规划

基金：国家重点研发计划（2019YFB1705301）；国家自然科学基金（62072265，61572272，71690231）

为进一步优化推广大数据及人工智能技术，作为数据管理与分析的基础，数据质量问题日益成为相关领域的研究热点.通常情况下，数据采集及记录仪的物理故障或技术缺陷等会导致收集到的数据存在一定的错误，而异常错误会对后续的数据分析以及人工智能过程产生不可小视的影响，因此在数据应用之前，需要对数据进行相应的数据清洗修复.现存的平滑修复方法会导致大量原本正确的数据点过度修复为异常值，而基于约束的顺序依赖方法以及SCREEN方法等也因为约束条件较为单薄而无法对复杂的数据情况进行精确修复.基于最小修复原则，进一步提出了多区间速度约束下的时间序列数据修复方法，并采用动态规划方法来求解最优修复路径.具体来说，提出了多个速度区间来对时序数据进行约束，并根据多速度约束对各数据点形成一系列修复候选点，进而基于动态规划方法从中选取最优修复解.为验证上述方法的可行性和有效性，采用一个人工数据集、两个真实数据集以及一个带有真实错误的数据集在不同的异常率及数据量下对上述方法进行实验.由实验结果可知：相较于其他现存的修复方法，该方法在修复结果及时间开销方面均有着较好的表现.进一步，对多个数据集通过聚类及分类精确率的验证来表明数据质量问题对后续数据分析及人工智能的影响至关重要，本方法可以提升数据分析及人工智能结果的质量.

来源：2021年第3期

《软件学报》期刊编辑部

查看软件学报杂志2021年第3期