软件学报

作者：金国栋,卞昊穹,陈跃国,杜小勇

单位：金国栋，数据工程与知识工程教育部重点实验室(中国人民大学), 北京 100872;中国人民大学 信息学院, 北京 10087211,卞昊穹，数据工程与知识工程教育部重点实验室(中国人民大学), 北京 100872;中国人民大学 信息学院, 北京 10087202,陈跃国，数据工程与知识工程教育部重点实验室(中国人民大学), 北京 100872;大数据系统软件国家工程实验室(北京理工大学), 北京 10008103,杜小勇，数据工程与知识工程教育部重点实验室(中国人民大学), 北京 100872;中国人民大学 信息学院, 北京 10087204

关键词：HDFS;分布式文件系统;存储系统优化;数据分析

基金：国家重点研发计划（2018YFB1004401）；国家自然科学基金（U1711261，61432006，61732014）

HDFS（Hadoop distributed file system）作为面向数据追加和读取优化的开源分布式文件系统，具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展，HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台，HDFS存储了海量的结构化和非结构化数据，支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用，因此，对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性，对已有HDFS的存储及优化技术，从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来，随着HDFS上层应用的日益丰富和底层硬件平台的发展，基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向.

来源：2020年第1期

《软件学报》期刊编辑部

查看软件学报杂志2020年第1期