软件学报

作者：杨紫超，吴恒，吴悦文，张文博

单位：杨紫超，中国科学院大学, 北京 100049;中国科学院 软件研究所 软件工程技术研究开发中心, 北京 10019011,吴恒，中国科学院 软件研究所 软件工程技术研究开发中心, 北京 100190;中国科学院大学南京学院, 江苏 南京 211135;中科南京软件技术研究院, 江苏 南京 21113502,吴悦文，中国科学院 软件研究所 软件工程技术研究开发中心, 北京 10019003,张文博，中国科学院 软件研究所 软件工程技术研究开发中心, 北京 100190;中国科学院大学南京学院, 江苏 南京 211135;中科南京软件技术研究院, 江苏 南京 21113504

关键词：深度学习训练;性能建模;任务调度

基金：山东省重大创新工程 (2021CXGC010101); 国家自然科学基金 (62302489)

近年来, 深度学习研究成果在全球范围内得到广泛应用. 为了提高大规模深度学习模型的训练效率, 业界通常采用建设GPU集群并配置高效的任务调度器的策略. 然而, 深度学习训练任务具有性能异构性和放置拓扑敏感性等复杂性能特性. 对性能无感知的调度容易导致资源利用率低下、训练效率差等问题. 为了应对这一挑战, 近期涌现出大量基于性能建模的深度学习训练任务调度器. 这些调度器通过构建精确的性能模型, 深入了解任务的复杂性能特性, 并据此设计更优化的调度算法, 从而形成更高效的调度方案. 首先基于建模设计思路, 对目前调度器使用的性能建模方法进行分类综述. 随后, 根据调度器利用性能建模的调度优化途径, 对现有的任务调度工作进行系统性分析. 最后, 对性能建模与调度在未来的研究方向进行展望.

来源：2025年第4期

《软件学报》期刊编辑部

查看软件学报杂志2025年第4期