软件学报

作者：张健，丁世飞，丁玲，张成龙

单位：张健，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;矿山数字化教育部工程研究中心, 江苏 徐州 22111611,丁世飞，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;矿山数字化教育部工程研究中心, 江苏 徐州 22111602,丁玲，中国矿业大学 徐海学院, 江苏 徐州 22100803,张成龙，中国矿业大学 计算机科学与技术学院, 江苏 徐州 22111604

关键词：受限玻尔兹曼机;神经网络;概率图模型;深度学习

基金：国家自然科学基金（61976216，61672522）

受限玻尔兹曼机（restricted Boltzmann machine，简称RBM）是一种概率无向图，传统的RBM模型假设隐藏层单元是二值的，二值单元的优势在于计算过程和采样过程相对简单，然而二值化会对基于隐藏层单元的特征提取和数据重构过程带来信息损失.因此，将RBM的可见层单元和隐藏层单元实值化并保持模型训练的有效性，是目前RBM理论研究的重点问题.为了解决这个问题，将二值单元拓展为实值单元，利用实值单元建模数据并提取特征.具体而言，在可见层单元和隐藏层单元之间增加辅助单元，然后将图正则化项引入到能量函数中，基于二值辅助单元和图正则化项，流形上的数据有更高的概率被映射为参数化的截断高斯分布；同时，远离流形的数据有更高的概率被映射为高斯噪声.由此，模型的隐层单元可以被表示为参数化截断高斯分布或高斯噪声的采样实值.该模型称为基于辅助单元的受限玻尔兹曼机（restricted Boltzmann machine with auxiliary units，简称ARBM）.在理论上分析了模型的有效性，然后构建了相应的深度模型，并通过实验验证模型在图像重构任务和图像生成任务中的有效性.

来源：2021年第12期

《软件学报》期刊编辑部

查看软件学报杂志2021年第12期