软件学报

作者：高赫然，吴恒，许源佳，李修和，王焘，张文博

单位：高赫然，中国科学院大学, 北京 100049;中国科学院 软件研究所 软件工程技术研究开发中心, 北京 10019011,吴恒，中国科学院 软件研究所 软件工程技术研究开发中心, 北京 100190;中国科学院大学南京学院, 江苏 南京 211135;中科南京软件技术研究院, 江苏 南京 21000002,许源佳，中国科学院大学, 北京 100049;中国科学院 软件研究所 软件工程技术研究开发中心, 北京 10019003,李修和，国防科技大学 电子对抗学院, 安徽 合肥 23003704,王焘，中国科学院 软件研究所 软件工程技术研究开发中心, 北京 100190;计算机科学国家重点实验室(中国科学院 软件研究所), 北京 10019005,张文博，中国科学院 软件研究所 软件工程技术研究开发中心, 北京 100190;计算机科学国家重点实验室(中国科学院 软件研究所), 北京 100190;中国科学院大学南京学院, 江苏 南京 211135;中科南京软件技术研究院, 江苏 南京 21000006

关键词：深度学习训练;内存交换;内存需求特征

基金：国家重点研发计划(2018YFB1402803); 国家自然科学基金(61872344, 61972386); 山东省重大研发计划(2021CXGC010101)

随着深度学习技术的快速发展和深入应用, 深度学习训练规模持续增大, 内存不足已成为影响深度学习可用性的主要瓶颈之一. 内存交换机制是应对深度学习训练内存问题的关键技术, 该机制利用深度学习训练内存需求的“时变”特征, 在专用计算加速设备内存与外部存储之间按需移动数据, 通过瞬时内存需求替代累积内存需求, 保障深度学习训练任务的运行. 对面向深度学习训练的内存交换机制进行综述, 以深度学习训练内存需求的时变特征为研究视角, 分别针对基于算子运行特征的内存换出机制、基于数据依赖关系的内存换入机制以及效能驱动的联合换出与换入决策等重要研究工作进行了总结分析, 并针对该技术领域的发展方向进行了展望.

来源：2023年第12期

《软件学报》期刊编辑部

查看软件学报杂志2023年第12期