软件学报

作者：杨尚东，余淼盈，陈兴国，陈蕾

单位：杨尚东，南京邮电大学 计算机学院、软件学院、网络空间安全学院, 江苏 南京 210023;计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023;广西多源信息挖掘与安全重点实验室 (广西师范大学), 广西 桂林 54100411,余淼盈，南京邮电大学 计算机学院、软件学院、网络空间安全学院, 江苏 南京 21002302,陈兴国，南京邮电大学 计算机学院、软件学院、网络空间安全学院, 江苏 南京 21002303,陈蕾，南京邮电大学 计算机学院、软件学院、网络空间安全学院, 江苏 南京 21002304

关键词：强化学习;轨迹分组;对比学习;序贯感知;技能发现

基金：国家自然科学基金(62206133, 62276142); 江苏省重点研发计划(BE2021093); 南京大学计算机软件新技术国家重点实验室资助项目(KFKT2022B12); 广西多源信息挖掘与安全重点实验室开放基金(MIMS22-01); 江苏省双创博士项目(JSSCBS20210539)

强化学习在智能对话系统等决策任务中取得了令人瞩目的结果, 但其在复杂的、奖励稀疏的任务中学习效率较低. 研究人员在强化学习中引入技能发现框架, 以最大化不同技能间的差异为目标构建技能策略, 提升了智能体在上述任务中的学习效率. 然而, 受到采样轨迹数据多样性的限制, 现有的技能发现方法局限于在一个强化学习回合中学习一种技能, 导致其在一回合中具有序贯技能组合的复杂任务中表现欠佳. 针对该问题, 提出一种基于分组对比学习的序贯感知技能发现方法(group-wise contrastive learning based sequence-aware skill discovery, GCSSD), 该方法将对比学习融合到技能发现框架中. 首先, 为了提升轨迹数据的多样性, 将与环境交互的完整轨迹分段并进行分组, 利用分组轨迹构建对比损失学习技能嵌入表征; 其次, 结合技能嵌入表征与强化学习进行技能策略训练; 最后, 为了提升在具有不同序贯技能组合任务上的性能, 对采样轨迹进行分段技能表征并将其嵌入策略网络, 实现对已学技能策略的序贯组合. 实验结果表明, GCSSD方法在具有序贯技能组合的稀疏奖励任务中具有较好的训练效果, 并且在具有与训练任务不同的序贯技能组合任务中, 能够利用已学技能对该任务进行快速适应.

来源：2025年第5期

《软件学报》期刊编辑部

查看软件学报杂志2025年第5期