软件学报

作者：陈璐，郭宇翔，葛丛丛，郑白桦，高云君

单位：陈璐，浙江大学 计算机科学与技术学院, 浙江 杭州 31002711,郭宇翔，浙江大学 计算机科学与技术学院, 浙江 杭州 31002702,葛丛丛，华为云计算公司 数据智能创新Lab, 浙江 杭州 31005203,郑白桦，School of Computing and Information Systems, Singapore Management University, Singapore04,高云君，浙江大学 计算机科学与技术学院, 浙江 杭州 31002705

关键词：数据治理;数据质量;错误检测;联邦学习

基金：国家重点研发计划（2021YFC3300303）；国家自然科学基金（62025206，61972338，62102351）

随着海量数据的涌现和不断积累，数据治理成为提高数据质量、最大化数据价值的重要手段.其中，数据错误检测是提高数据质量的关键步骤，近年来引起了学术界及工业界的广泛关注.目前，绝大多数错误检测方法只适用于单数据源场景.然而在现实场景中，数据往往不集中存储与管理.不同来源且高度相关的数据能够提升错误检测的精度.但由于数据隐私安全问题，跨源数据往往不允许集中共享.鉴于此，提出了一种基于联邦学习的跨源数据错误检测方法FeLeDetect，以在数据隐私保证的前提下，利用跨源数据信息提高错误检测精度.为了充分捕获每一个数据源的数据特征，首先提出一种基于图的错误检测模型GEDM，并在此基础上设计了一种联邦协同训练算法FCTA，以支持在各方数据不出本地的前提下，利用跨源数据协同训练GEDM.此外，为了降低联邦训练的通信开销和人工标注成本，还提出了一系列优化方法.最后，在3个真实数据集上进行了大量的实验.实验结果表明：（1）相较于5种现有最先进的错误检测方法，GEDM在本地场景和集中场景下，错误检测结果的F1分数平均提高了10.3%和25.2%；（2） FeLeDetect错误检测结果的F1分数较本地场景下GEDM的结果平均提升了23.2%.

来源：2023年第3期

《软件学报》期刊编辑部

查看软件学报杂志2023年第3期