企业网站开发所需要的模块,郴州网警,滨海网站建设,公司建设网站的 计划书1. 概述 前面描述的神经网络模型是一种确定的结构。而波尔兹曼网络是一种随机网络。如何来描述一个随机网络呢#xff1f;很多书上有大量的篇幅介绍其原理。这里把它总结为以下两点。 第一#xff0c;概率分布函数。由于网络节点的取值状态是随机的#xff0c;从贝叶斯网的… 1. 概述 前面描述的神经网络模型是一种确定的结构。而波尔兹曼网络是一种随机网络。如何来描述一个随机网络呢很多书上有大量的篇幅介绍其原理。这里把它总结为以下两点。 第一概率分布函数。由于网络节点的取值状态是随机的从贝叶斯网的观点来看要描述整个网络需要用三种概率分布来描述系统。即联合概率分布边缘概率分布和条件概率分布。要搞清楚这三种不同的概率分布,是理解随机网络的关键,这里向大家推荐的书籍是张连文所著的《贝叶斯网引论》。很多文献上说受限波尔兹曼是一个无向图这一点也有失偏颇。从贝叶斯网的观点看受限波尔兹曼网应该是一个双向的有向图。即从输入层节点可以计算隐层节点取某一种状态值的概率反之亦然. 第二能量函数。随机神经网络是根植于统计力学的。受统计力学中能量泛函的启发引入了能量函数。能量函数是描述整个系统状态的一种测度。系统越有序或者概率分布越集中系统的能量越小。反之系统越无序或者概率分布越趋于均匀分布则系统的能量越大。能量函数的最小值对应于系统的最稳定状态。 2. 网络结构和学习算法 2.1 RBM网络结构如下 正如前面我们提到的描述RBM的方法是能量函数和概率分布函数。实际上把它们二者结合起来也就是概率分布是能量函数的泛函其能量泛函和联合概率分布如下 其中上式中的Z是归一化系数它的定义如下: 而输入层的边缘概率是我们感兴趣的它的计算如下 因为网络学习的目的是最大可能的拟合输入数据。根据极大似然学习法则我们的目的就是对所以的输入极大化上面的公式(4)公式4在统计学里也称作似然函数更多的我们对其取对数也就是对数似然函数考虑所有的输入样本其极大化对数似然函数的定义如下 (5) 注意上面的公式中多了个theta。theta就是网络的权值包括公式(1)中的w,a,b,是网络学习需要优化的参数。其实在上面所有的公式中都有theta这个变量只是为了便于描述问题我把它们都给抹掉了。 2.2 对比度散度学习算法 根据公式5逐步展开运用梯度下降策略可以推导出网络权值的更新策略如下 其中第一项是给定样本数据的期望第二项是模型本身的期望。数据的期望很容易计算而模型的期望不能直接得到。一种典型的方法是通过吉布斯采样得到而Hinton提出了一种快速算法称作contrastive divergence算法。这种算法只需迭代k次就可以获得对模型的估计而通常k等于1. CD算法在开始是用训练数据去初始化可见层然后用条件分布计算隐层然后再根据隐层同样用条件分布来计算可见层。这样产生的结果是对输入的一个重构。CD算法将上述公式6表示为 (7) 具体算法流程可以看参考西安交大 张春霞等人的论文。 另外网络上很多讲波尔兹曼机的文献都提到了模拟退火算法但是在受限玻尔兹曼机里面却木有提到。个人认为是网络能量函数的定义里面对退火温度默认为1了。如果这个温度不是1则应该在能量函数里面加上当前迭代的退火温度T这时候网络参数的学习率将会是一个逐步衰减的过程。Persistent Contrastivedivergence算法的迭代过程学习率是一个逐步衰减的过程可以认为是考虑了退火过程的算法。 转载于:https://www.cnblogs.com/deeplearningfans/p/3785113.html
