软件学报

作者：刘瑞奇，李博扬，高玉金，李长升，赵恒泰，金福生，李荣华，王国仁

单位：刘瑞奇，北京理工大学 计算机学院, 北京 10008111,李博扬，北京理工大学 计算机学院, 北京 10008102,高玉金，北京理工大学 计算机学院, 北京 10008103,李长升，北京理工大学 计算机学院, 北京 10008104,赵恒泰，东北大学 计算机科学与工程学院 辽宁 沈阳 11081905,金福生，北京理工大学 计算机学院, 北京 10008106,李荣华，北京理工大学 计算机学院, 北京 10008107,王国仁，北京理工大学 计算机学院, 北京 10008108

关键词：任务调度;负载均衡;自动扩容;分布式计算;异构任务

基金：国家重点研发计划（2018YFB1004402）；国家自然科学基金（U2001211，62072034，61772346）；中国博士后科学基金（2021M690397）

随着大数据和机器学习的火热发展，面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习，也可以支持流式的增量学习和验证，具有低延迟、高性能的特点.然而，当前的一些主流系统采用了随机的任务调度策略，忽略了节点的性能差异，因此容易导致负载不均和性能下降.同时，对于某些任务，如果资源要求不满足，则会导致调度失败.针对这些问题，提出了一种异构任务调度框架，能够保证任务的高效执行和被执行.具体来讲，该框架针对任务调度模块，围绕节点的异构计算资源，提出了概率随机的调度策略resource-Pick_kx和确定的平滑加权轮询算法.Resource-Pick_kx算法根据节点性能计算概率，进行概率随机调度，性能高的节点概率越大，任务调度到此节点的可能性就越高.平滑加权轮询算法在初始时根据节点性能设置权重，调度过程中平滑加权，使任务调度到当下性能最高的节点上.此外，对于资源不满足要求的任务场景，提出了基于容器的纵向扩容机制，自定义任务资源，创建节点加入集群，重新完成任务的调度.通过实验在benchmark和公开数据集上测试了框架的性能，相比于原有策略，该框架性能提升了10%-20%.

来源：2022年第3期

《软件学报》期刊编辑部

查看软件学报杂志2022年第3期