让时间回到2006年以前吧。 神经网络自20世纪50年代发展以来，因其良好的非线性能力、泛化能力而备受关注。 但是，传统神经网络还存在一些局限性，20世纪90年代陷入衰退，主要有以下几个原因。
1、传统神经网络一般是单个隐藏层，最多两个隐藏层。 这是因为神经元数量过多和隐藏层过多会导致模型参数快速增加，模型训练时间非常长。
2、传统神经网络中，随着层数的增加，随机梯度下降一般很难找到最优解，容易陷入局部最优解。 反向传播过程中也容易发生梯度色散和梯度饱和，模型结果不理想；
3、随着神经网络层数的增加，深度神经网络的模型参数增多，训练时需要较大的标签数据。 训练数据少的时候很难找到最佳解。 也就是说，深度神经网络没有解决小样本问题的能力。
由于以上限制，深神经网络被认为是前所未有的训练，使神经网络的发展暂时停滞。
2006年，“神经网络之父”Geoffrey Hinton祭神器，一举解决深层神经网络训练问题，推动深度学习快速发展，开创了人工智能新局面，近年来科技界有很多知识
这个神器是什么？ 它是“深度信念网络”Deep Belief Network，简称DBN )。
信念网络DBN )通过采用分段训练方式，解决深层次神经网络的优化问题，通过分段训练给整个网络赋予较好的初始权重，使网络微调后达到最优解。 而且，在逐步训练时起最重要作用的是“受限玻尔兹曼机”Restricted Boltzmann Machines，简称RBM ) )，为什么被称为“受限玻尔兹曼机”呢？ 另一个是因为没有限制。 玻尔兹曼机Boltzmann Machines，简称BM )。
依次介绍“玻尔兹曼机”BM )、“受限玻尔兹曼机”RBM )是什么呢？
网站：请参阅大话深度信念网络DBN )
论文原文： afastlearningalgorithmfordeepbeliefnets原文
论文解释： afastlearningalgorithmfordeepbeliefnets