软件学报

作者：杨良怀，卢晨曦，范玉雷，朱镇洋，潘建

单位：杨良怀，浙江工业大学 计算机学院, 浙江 杭州 31002311,卢晨曦，浙江工业大学 计算机学院, 浙江 杭州 31002302,范玉雷，浙江工业大学 计算机学院, 浙江 杭州 31002303,朱镇洋，浙江工业大学 计算机学院, 浙江 杭州 31002304,潘建，浙江工业大学 之江学院, 浙江 绍兴 31203005

关键词：大数据;数据流;分布式索引;B+树

基金：国家重点研发计划（2020YFB1707700）

大数据流的高效存储与索引是当今数据领域的一大难点.面向带有时间属性的数据流，根据其时间属性，将数据流划分为连续的时间窗口，提出了基于双层B+树的分布式索引结构WB-Index.下层B+树索引基于窗口内流数据构建，索引构建过程结合基于排序的批量构建技术，进一步对时间窗口分片，将数据流接收、分片数据排序以及B+树构建并行化，提高了构建性能.上层B+树索引基于各时间窗口构建，结合时间窗口时间戳的递增性和无限性，提出了避免节点分裂的构建方法，减少了B+树分裂移动开销，提高了空间利用率和更新效率.WB-Index架构中，将流数据和索引分离，同时利用内存缓存尽可能多的双层B+索引和热点数据来提高查询性能.理论和实验结果表明，该分布式索引架构能够支持高效的实时数据流写入以及流数据查询，能够很好地应用于具有时间属性的数据流场景.

来源：2021年第11期

《软件学报》期刊编辑部

查看软件学报杂志2021年第11期