软件学报

作者：宫丽娜，周易人，乔羽，姜淑娟，魏明强，黄志球

单位：宫丽娜，南京航空航天大学 计算机科学与技术学院, 江苏 南京 211106;高安全系统的软件开发与验证技术工信部重点实验室(南京航空航天大学), 江苏 南京 21110611,周易人，南京航空航天大学 计算机科学与技术学院, 江苏 南京 211106;高安全系统的软件开发与验证技术工信部重点实验室(南京航空航天大学), 江苏 南京 21110602,乔羽，南京航空航天大学 计算机科学与技术学院, 江苏 南京 211106;高安全系统的软件开发与验证技术工信部重点实验室(南京航空航天大学), 江苏 南京 21110603,姜淑娟，中国矿业大学 计算机科学与技术学院, 江苏 徐州 22111604,魏明强，南京航空航天大学 计算机科学与技术学院, 江苏 南京 21110605,黄志球，南京航空航天大学 计算机科学与技术学院, 江苏 南京 211106;高安全系统的软件开发与验证技术工信部重点实验室(南京航空航天大学), 江苏 南京 21110606

关键词：软件仓库挖掘;预训练模型;程序语言模型

基金：国家自然科学基金(62202223); 江苏省自然科学基金(BK20220881); 高安全系统的软件开发与验证技术工信部重点实验室(南京航空航天大学)开放项目(NJ2022027)

近年来深度学习在软件工程领域任务中取得了优异的性能. 众所周知, 实际任务中优异性能依赖于大规模训练集, 而收集和标记大规模训练集需要耗费大量资源和成本, 这限制了深度学习技术在实际任务中的广泛应用. 随着深度学习领域预训练模型(pre-trained model, PTM)的发布, 将预训练模型引入到软件工程(software engineering, SE)任务中得到了国内外软件工程领域研究人员的广泛关注, 并得到了质的飞跃, 使得智能化软件工程进入了一个新时代. 然而, 目前没有研究提炼预训练模型在软件工程领域的成功和机遇. 为阐明这一交叉领域的工作 (pre-trained models for software engineering, PTM4SE), 系统梳理当前基于预训练模型的智能软件工程相关工作, 首先给出基于预训练模型的智能软件工程方法框架, 其次分析讨论软件工程领域常用的预训练模型技术, 详细介绍使用预训练模型的软件工程领域下游任务, 并比较和分析预训练模型技术这些任务上的性能. 然后详细介绍常用的训练和微调PTM的软件工程领域数据集. 最后, 讨论软件工程领域使用PTM面临的挑战和机遇. 同时将整理的软件工程领域PTM和常用数据集发布在https://github.com/OpenSELab/PTM4SE.

来源：2025年第1期

《软件学报》期刊编辑部

查看软件学报杂志2025年第1期