软件学报

作者：符鹏涛，罗来龙，郭得科，赵翔，李尚森，王怀民

单位：符鹏涛，国防科技大学 系统工程学院, 湖南 长沙 41007311,罗来龙，国防科技大学 系统工程学院, 湖南 长沙 410073;国防科技大学 计算机学院, 湖南 长沙 41007302,郭得科，国防科技大学 系统工程学院, 湖南 长沙 41007303,赵翔，国防科技大学 系统工程学院, 湖南 长沙 41007304,李尚森，国防科技大学 系统工程学院, 湖南 长沙 41007305,王怀民，国防科技大学 计算机学院, 湖南 长沙 41007306

关键词：大数据;大数据治理;元数据;动态数据摘要;概率数据结构

基金：国家自然科学基金（U19B2024，62002378，61772544）；国防科技大学科研基金（ZK20-30）

随着信息技术的迅速发展，数据体量维持指数增长，数据价值挖掘困难，这为数据采集、清洗、存储、共享等数据生命周期中各环节的高效管控带来极大的挑战.数据摘要技术利用哈希表/矩阵/位向量对数据的频数、基数、成员关系等核心基础特性进行追踪，使得数据摘要自身成为元数据，并在共享、传输、更新等场景得到广泛应用.大数据的快速流转特性更是催生了动态数据摘要技术.现有的动态数据摘要技术通过动态维护链状或树状结构的概率数据结构列表，具有其容量随数据流大小而扩增或缩减的优势，然而也存在空间开销过大以及时间开销随数据基数增加而增长的缺陷.基于先进的跳跃一致性哈希理论，设计了一种面向大数据治理的动态数据摘要技术.该方法可以同时实现随数据基数线性增长的空间开销以及数据处理分析常数级别的时间开销，能够有效地支撑要求苛刻的多种大数据处理分析任务.在多种合成和真实数据集上，通过与传统方法实验对比，验证了所提方法的有效性和高效性.

来源：2023年第3期

《软件学报》期刊编辑部

查看软件学报杂志2023年第3期