软件学报

作者：张楠,丁世飞,张健,赵星宇

单位：张楠，中国矿业大学 计算机科学与技术学院, 江苏 徐州 22111611,丁世飞，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;矿山数字化教育部工程研究中心(中国矿业大学), 江苏 徐州 221116;中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 10019002,张健，中国矿业大学 计算机科学与技术学院, 江苏 徐州 22111603,赵星宇，中国矿业大学 计算机科学与技术学院, 江苏 徐州 22111604

关键词：受限玻尔兹曼机;深度置信网络;权值不确定性;特征选择

基金：国家自然科学基金（61672522，61379101）；国家重点基础研究发展计划（973）（2013CB329502）

建立以受限玻尔兹曼机（restricted Boltzmann machine，简称RBM）为基石的深度网络模型，是深度学习研究的热点领域之一.Point-wise Gated受限玻尔兹曼机（point-wise gated RBM，简称pgRBM）是一种RBM的变种算法.该算法能够在含噪声的数据中自适应地找到数据中与分类有关的部分，从而实现较好的分类结果.假设一组数据中有噪声数据和干净数据，如何应用不含噪声的数据提升pgRBM的性能，是一个重要的研究问题.针对这一问题，首先，在传统的pgRBM基础上提出一种基于随机噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on random noisy data and clean data，简称pgrncRBM）方法，其网络中与分类有关权值的初值是通过不含噪声的数据学习得到的，所以pgrncRBM在处理随机噪声数据时可以学习到更为"干净"的数据.在pgrncRBM中，与分类有关的数据与噪声都是使用RBM建模.如果噪声是图片，pgrncRBM就不能很好地去除噪声.Spike-and-Slab RBM（ssRBM）是一种处理实值数据的RBM变种模型，其定义两种不同类型的隐层用来学习实值数据的分布特性.因此，将ssRBM与pgRBM相结合，提出一种基于图像噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on image noisy data and clean data，简称pgincRBM）方法.该方法使用ssRBM对噪声建模，其在处理图像噪声数据时可以学习到更为"干净"的数据.然后，通过堆叠pgrncRBM、pgincRBM和传统的RBM构建出深度网络模型，并探讨了权值不确定性方法在提出网络模型中的可行性.最后，在含噪声的手写数据集上进行MATLAB仿真实验.实验结果表明，pgrncRBM和pgincRBM都是有效的神经网络学习方法.

来源：2019年第11期

《软件学报》期刊编辑部

查看软件学报杂志2019年第11期