软件学报

作者：王乃钰，叶育鑫，刘露，凤丽洲，包铁，彭涛

单位：王乃钰，吉林大学 计算机科学与技术学院, 吉林 长春 13001211,叶育鑫，吉林大学 计算机科学与技术学院, 吉林 长春 130012;符号计算与知识工程教育部重点实验室(吉林大学), 吉林 长春 13001202,刘露，吉林大学 软件学院, 吉林 长春 130012;符号计算与知识工程教育部重点实验室(吉林大学), 吉林 长春 13001203,凤丽洲，Department of Computer Science, University of Illinois at Chicago, Chicago 60607, USA04,包铁，吉林大学 计算机科学与技术学院, 吉林 长春 13001205,彭涛，吉林大学 计算机科学与技术学院, 吉林 长春 130012;符号计算与知识工程教育部重点实验室(吉林大学), 吉林 长春 13001206

关键词：语言模型;预训练;深度学习;自然语言处理;神经语言模型

基金：国家自然科学基金（61872163，61806084）；吉林省教育厅项目（JJKH20190160KJ）

语言模型旨在对语言的内隐知识进行表示，作为自然语言处理的基本问题，一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点，通过预训练-微调技术展现了内在强大的表示能力，并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向，以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点，从语言模型的基本概念和理论出发，介绍了神经概率与预训练模型的应用情况和当前面临的挑战，对现有神经概率、预训练语言模型及方法进行了对比和分析.同时又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行了详细阐述，并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行了概述和评价.最后总结了语言模型在当前自然语言处理应用中的瓶颈，对未来可能的研究重点做出展望.

来源：2021年第4期

《软件学报》期刊编辑部

查看软件学报杂志2021年第4期