软件学报

作者：岳晓飞，史岚，赵宇海，季航旭，王国仁

单位：岳晓飞，东北大学 计算机科学与工程学院, 辽宁 沈阳 11016911,史岚，东北大学 计算机科学与工程学院, 辽宁 沈阳 11016902,赵宇海，东北大学 计算机科学与工程学院, 辽宁 沈阳 11016903,季航旭，东北大学 计算机科学与工程学院, 辽宁 沈阳 11016904,王国仁，北京理工大学 计算机学院, 北京 10008105

关键词：迭代作业;运行时间预测;资源分配;运行时限;Apache Flink

基金：国家重点研发计划（2018YFB1004402）；国家自然科学基金（61772124）

新兴分布式计算框架Apache Flink支持在集群上执行大规模的迭代程序，但其默认的静态资源分配机制导致无法进行合理的资源配置来使迭代作业按时完成.针对这一问题，应该依靠用户来主动表达性能约束而不是被动地进行资源保留，故提出了一种基于运行时间预测的动态资源分配策略RABORP （resource allocation based onruntime prediction），来为具有明确运行时限的Flink迭代作业制定动态资源分配计划并实施.其主要思想是：通过预测各个迭代超步的运行时间，然后根据预测结果在迭代作业提交时和超步间的同步屏障处分别进行资源的初始分配和动态调整，以保证可使用最小资源集，使迭代作业在用户规定的运行时限内完成.通过在不同数据集下执行多种典型的Flink迭代作业进行了相关对比实验，实验结果表明，所建立的运行时间预测模型能够对各个超步的运行时间进行准确预测，而且在单作业和多作业场景下，采用所提出的动态资源分配策略相比于目前最先进算法在各项性能指标上都有所提升.

来源：2022年第3期

《软件学报》期刊编辑部

查看软件学报杂志2022年第3期