软件学报

作者：刘星宇，宋韶旭，黄向东，王建民

单位：刘星宇，清华大学 软件学院, 北京 10008411,宋韶旭，清华大学 软件学院, 北京 100084;大数据系统软件国家工程研究中心(清华大学), 北京 100084;北京信息科学与技术国家研究中心(清华大学), 北京 10008402,黄向东，清华大学 软件学院, 北京 100084;大数据系统软件国家工程研究中心(清华大学), 北京 100084;北京信息科学与技术国家研究中心(清华大学), 北京 10008403,王建民，清华大学 软件学院, 北京 100084;大数据系统软件国家工程研究中心(清华大学), 北京 100084;北京信息科学与技术国家研究中心(清华大学), 北京 10008404

关键词：数据压缩;时间序列数据;数据库;工业物联网

基金：国家重点研发计划(2021YFB3300500); 国家自然科学基金(62232005, 62021002, 62072265, 92267203); 国家电网公司总部科技项目(5700-202435261A-1-1-ZN)

时间序列数据在工业制造、气象、电力、车辆等领域都有着广泛的应用, 促进了时间序列数据库管理系统的发展. 越来越多的数据库系统向云端迁移, 端边云协同的架构也愈发常见, 所需要处理的数据规模愈加庞大. 在端边云协同、海量序列等场景中, 由于同步周期短、数据刷盘频繁等原因, 会产生大量的短时间序列, 给数据库系统带来新的挑战. 有效的数据管理与压缩方法能显著提高存储性能, 使得数据库系统足以胜任存储海量序列的重任. Apache TsFile是一个专为时序场景设计的列式存储文件格式, 在Apache IoTDB等数据库管理系统中发挥重要作用. 阐述了Apache TsFile中应对大量短时间序列场景所使用的分组压缩及合并方法, 特别是面向工业物联网等序列数量庞大的应用场景. 该分组压缩方法充分考虑了短时间序列场景中的数据特征, 通过对设备分组的方法提高元数据利用率, 降低文件索引大小, 减少短时间序列并显著提高压缩效果. 经过真实世界数据集的验证, 分组方法在压缩效果、读取、写入、文件合并等多个方面均有显著提升, 能更好地管理短时间序列场景下的TsFile文件.

来源：2025年第3期

《软件学报》期刊编辑部

查看软件学报杂志2025年第3期