软件学报

作者：祁丹蕊,宋韶旭,王建民

单位：祁丹蕊，清华大学 软件学院, 北京 10008411,宋韶旭，清华大学 软件学院, 北京 100084;大数据系统软件国家工程实验室, 北京 100084;北京信息科学与技术国家研究中心, 北京 10008402,王建民，清华大学 软件学院, 北京 100084;大数据系统软件国家工程实验室, 北京 100084;北京信息科学与技术国家研究中心, 北京 10008403

关键词：数据质量;数据清洗;条件函数依赖;缺失结果解释;解释排序

基金：国家重点研发计划（2016YFB1001101）；国家自然科学基金（61572272，71690231）

由于数据缺失，数据库用户通常无法获得查询结果中的预期答案.它被称为"Why-not问题"，即"为什么预期的元组不会出现在结果中".现有的方法通过列举可能的元组值来解释Why-not问题.枚举所给出解释的数量往往太大，无法由用户探索.完整性约束，如函数依赖，被用来排除不合格的解释.然而，许多属性在简化后解释中仅仅表示为变量，用户可能仍然无法理解.由于数据稀疏性，许多不合理的解释也会被推荐给用户.提出通过研究元组间两两比较关系，从而对Why-not问题的解释进行排序的方法.首先，重新定义为什么Why-not问题解释的形式没有变量，以便于用户理解；其次，对元组中的相等/不相等关系进行表示，提出在{0，1}表示的元组对的基础上学习统计模型，从而解决直接在原始数据上学习所带来的稀疏性问题，许多模型可以被用来推断概率，包括统计分布、分类和回归；最后，根据推断的概率对解释进行评价和排序.实验结果证明：利用统计、分类和回归方法计算两两关系概率分布的方法，可以为用户寻找Why-not问题的解释并返回较为高质量的解释.

来源：2019年第3期

《软件学报》期刊编辑部

查看软件学报杂志2019年第3期