软件学报

作者：张健,丁世飞,张楠,杜鹏,杜威,于文家

单位：张健，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;矿山数字化教育部工程研究中心, 江苏 徐州 22111611,丁世飞，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;矿山数字化教育部工程研究中心, 江苏 徐州 221116;中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 10019002,张楠，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;矿山数字化教育部工程研究中心, 江苏 徐州 22111603,杜鹏，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;矿山数字化教育部工程研究中心, 江苏 徐州 22111604,杜威，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;矿山数字化教育部工程研究中心, 江苏 徐州 22111605,于文家，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;矿山数字化教育部工程研究中心, 江苏 徐州 22111606

关键词：受限制的玻尔兹曼机;神经网络;概率图模型;深度学习

基金：国家自然科学基金（61672522，61379101）；国家重点基础研究发展计划（973）（2013CB329502）；江苏省研究生科研与实践创新计划（KYCX19_2166）；中国矿业大学研究生科研与实践创新计划（KYCX19_2166）

概率图模型是目前机器学习研究的热点，基于概率图模型构造的生成模型已广泛应用于图像和语音处理等领域.受限玻尔兹曼机（restricted Boltzmann machines，简称RBMs）是一种概率无向图，在建模数据分布方面有重要的研究价值，RBMs既可以结合卷积算子构造深度判别模型，为深度网络提供统计力学的理论支持，也可以结合有向图构建生成模型，提供具有多峰分布的先验信息.主要综述了以RBMs为基础的概率图模型的相关研究.首先介绍了基于RBMs的机器学习模型的基本概念和训练算法，并讨论了基于极大似然估计的各训练算法的联系，比较了各算法的log似然损失；其次，综述了RBMs模型最新的研究进展，包括在目标函数中引入对抗损失和W距离，并构造基于RBMs先验的变分自编码模型（variational autoencoders，简称VAEs）、基于对抗损失的RBMs模型，并讨论了各实值RBMs模型之间的联系和区别；最后，综述了以RBMs为基础的模型在深度学习中的应用，并讨论了神经网络和RBMs模型在研究中存在的问题及未来的研究方向.

来源：2019年第7期

《软件学报》期刊编辑部

查看软件学报杂志2019年第7期