玻尔兹曼机(BM)是一个对称连接的概率神经网络，其值只能为0或1。受限玻尔兹曼机作为玻尔兹曼机的一种特殊的拓扑结构，由一个可见神经元层和一个隐神经元层组成，隐层神经元之间没有相互连接并且隐层神经元独立。受限玻尔兹曼机具有降维，分类，特征学习等应用。半受限玻尔兹曼机可以对输入样本的特征进行提取和表示，而且相比较于受限玻尔兹曼机，具有更强的表示能力，[描述来源：Osindero S, Hinton G E. Modeling image patches with a directed hierarchy of Markov random fields[C]//Advances in neural information processing systems. 2008: 1121-1128.]可以通过监督和非监督的方式来进行训练。与受限玻尔兹曼机不同的是，半受限玻尔兹曼机的可见单元构成了一个完全或部分连接的条件马尔科夫随机场，其中隐藏结点决定了可见单元的偏置。[描述来源：Salakhutdinov R R. Learning in Markov random fields using tempered transitions[C]//Advances in neural information processing systems. 2009: 1598-1606.]如图所示：
[图片来源：Salakhutdinov R R. Learning in Markov random fields using tempered transitions[C]//Advances in neural information processing systems. 2009: 1598-1606.]
SRBM的能量函数如下：
其中$v_i$,$h_j$是可见单元$i$和隐藏单元$j$的二进制状态，$b_i$和$b_j$是偏置，$w_ij$是节点之间的权重对隐藏层连接的权重更新规则如下所示：
其中，$/delta$是学习率，$<v_i,v_j>_{data}$是当隐藏单元被数据驱动时，可见单元$i$和隐藏单元$j$一起出现的时间比例。
发展历史
描述
玻尔兹曼机的原理起源于统计物理学，是一种基于能量函数的建模方法，能够描述变量之间的高阶相互作用。1985和1986两年间，Hinton和Paul Smolensky几乎同时地提出了玻尔兹曼机的概念，作为基于隐变量来模拟输入分布的生成模型，它在近些年被广泛应用。在2005年和2006年期间，Welling和Hinton对受限玻尔兹曼机进行了改进，将其分布由二值输入扩展为各种分布的输入，这为玻尔兹曼机的进一步应用进行了扩展。2008年，Hinton在受限玻尔兹曼机的基础上提出了半受限玻尔兹曼机。这种方法可以进行贪心学习，并组成一个条件马尔科夫随机场的定向层次结构。
主要事件
年份 | 事件 | 相关论文/Reference |
1985-1986 | Hinton和Paul Smolensky几乎同时地提出了受限玻尔兹曼机的概念。 | Ackley, D., Hinton, G.E. & Sejnowski, T. (1985). A Learning Algorithm for Boltzmann Machines. Cognitive Science, 9, 147–169；Smolensky P. Information processing in dynamical systems: Foundations of harmony theory[R]. COLORADO UNIV AT BOULDER DEPT OF COMPUTER SCIENCE, 1986. |
2005-2006 | 受限玻尔兹曼机的输入由二值输入扩展为各种分布的输入。 | Welling M, Rosen-Zvi M, Hinton G E. Exponential family harmoniums with an application to information retrieval[C]//Advances in neural information processing systems. 2005: 1481-1488；Taylor G W, Hinton G E, Roweis S T. Modeling human motion using binary latent variables[C]//Advances in neural information processing systems. 2007: 1345-1352. |
2008 | Hinton等人提出了半受限玻尔兹曼机 | Osindero, S., & Hinton, G. E. (2008). Modeling image patches with a directed hierarchy of Markov random fields. In Advances in neural information processing systems (pp. 1121-1128). |
发展分析
瓶颈
对于高维的训练数据来说，如果半受限玻尔兹曼机的每一对可见单元都有连接，那么就要网络中就包含太多的参数，在训练过程中对数据的依赖会很强，当数据量不足的情况下参数不容易收敛。
未来发展方向
半受限玻尔兹曼机在构建深度信念网的时候具有有利条件，而且输入单元之间的连接在进行统计的时候可以很好的捕捉到理想的特征，这在以后具有很好的应用价值。[描述来源：Osindero S, Hinton G E. Modeling image patches with a directed hierarchy of Markov random fields[C]//Advances in neural information processing systems. 2008: 1121-1128.]
Contributor: Yilin Pan