软件学报

作者：乔嘉林，黄向东，杨义繁，王建民，吴凯

单位：乔嘉林，清华大学 软件学院 大数据研究中心, 北京 10008411,黄向东，清华大学 软件学院 大数据研究中心, 北京 10008402,杨义繁，清华大学 软件学院 大数据研究中心, 北京 10008403,王建民，清华大学 软件学院 大数据研究中心, 北京 10008404,吴凯，新疆金风科技股份有限公司, 新疆 乌鲁木齐 83002605

关键词：HDFS;一致性;建模;着色Petri网;CPN Tools

基金：国家自然科学基金（71690231，61802224）

HDFS分布式文件系统作为Apache Hadoop的核心组件之一，在工业界得到了广泛应用.HDFS采用了多副本机制保证数据的可靠性，但是由于多副本的存在，在节点失效、网络中断、写入失败时可能会导致数据不一致.与传统文件系统相比，HDFS被认为其数据一致性有所降低，但用户并不知道何时会出现不一致的情况，目前也没有相关工作对其一致性机制进行验证说明.当数据存在一致性问题时，会增加上层应用的不确定性.可见，对数据一致性的研究十分必要.HDFS的软件规模庞大，且在分布式环境下运行，针对这些特点，采用了着色Petri网建模和状态空间分析的方法，完成了以下工作：（1）使用着色Petri网对HDFS的读写流程建立模型，该模型详细刻画了HDFS内部各个组件的功能及相互协作的机制；（2）基于着色Petri网模型，使用状态空间工具分析了HDFS的数据层一致性和操作层一致性，验证并详细说明了HDFS出现不一致的条件；（3）在分析过程中，提出了“时点重复读”的操作层一致性验证方法，采用串行化的重复读策略降低了状态空间复杂度.基于以上工作，针对HDFS上层应用的开发给出建议，帮助提高应用的数据一致性.此外，在建模过程中提出的建模技巧给基于CPN Tools工具分析其他系统提供了借鉴.

来源：2021年第10期

《软件学报》期刊编辑部

查看软件学报杂志2021年第10期