软件学报

作者：徐东钦，李军辉，朱慕华，周国栋

单位：徐东钦，苏州大学 计算机科学与技术学院, 江苏 苏州 21500611,李军辉，苏州大学 计算机科学与技术学院, 江苏 苏州 21500602,朱慕华，腾讯科技(北京)有限公司 腾讯新闻, 北京 10000103,周国栋，苏州大学 计算机科学与技术学院, 江苏 苏州 21500604

关键词：AMR;AMR文本生成;多任务预训练;序列到序列模型

基金：国家重点研发计划（2017YFB1002101）；国家自然科学基金（61876120）

抽象语义表示（abstract meaning representation，简称AMR）文本生成的任务是给定AMR图，生成与其语义一致的文本.相关工作表明，人工标注语料的规模大小直接影响了AMR文本生成的性能.为了降低对人工标注语料的依赖，提出了基于多任务预训练的AMR文本生成方法.特别地，基于大规模自动标注AMR语料，提出与AMR文本生成任务相关的3个预训练任务，分别是AMR降噪自编码、句子降噪自编码以及AMR文本生成任务本身.此外，基于预训练模型，在朴素微调方法的基础上，进一步提出了基于多任务训练的微调方法，使得最终模型不仅适用于AMR文本生成，同时还适用于预训练任务.基于两个AMR标准数据集的实验结果表明：使用0.39M自动标注数据，提出的预训练方法能够大幅度提高AMR文本生成的性能，在AMR2.0和AMR3.0上分别提高了12.27和7.57个BLEU值，性能分别达到40.30和38.97.其中，在AMR2.0上的性能为目前报告的最优值，在AMR3.0上的性能为目前为止首次报告的性能.

来源：2021年第10期

《软件学报》期刊编辑部

查看软件学报杂志2021年第10期