页面网站缓存如何做,汕头整站优化,上海网站建设目的,网页一般用什么语言编写1.深层、浅层、BP
出现背景优点缺点浅层神经网络为了解决非线性问题可以拟合任何函数参数多#xff0c;神经元多#xff0c;需要更多的计算资源和数据BP算法#xff08;对p(labelinput)建模为了计算神经网络损失回传深度神经网络#xff08;5)#xff08;时代背景数据…1.深层、浅层、BP
出现背景优点缺点浅层神经网络为了解决非线性问题可以拟合任何函数参数多神经元多需要更多的计算资源和数据BP算法对p(labelinput)建模为了计算神经网络损失回传深度神经网络5)时代背景数据爆炸计算资源提升希望自动学习特征有个好的初始值1.比浅层更好的表达性计算单元少高层可利用低层,高层全局低层局部更有语义化2.层次化地学习特征3.多层隐变量允许统计上的组合共享4.有效-改进的BP对p(input)建模为了让BP适应深度神经网络,建立产生输入的生成式模型调整参数使得p最大--
训练 监督 误差自顶向下对网络微调微调特征使之与问题更相关 非监督 自下向上greedy layer-wise traing
自动编码器
自动编码器 无监督loss重构误差(输入输出最小–尽可能复现输入输入输出——尽可能复现输入 input–encoder–code–decoder–outputcode输入的特征表达若有多层则有多个code多个不同的表达 网络结构 三层 输入x-y隐藏y-z输出z 公式 ysigmoid(Wxb)zsigmoid(W’yb’) 条件 输入神经元数量输出因为要一样隐藏输入 想要得到输入的一个压缩表示、抽象表示 简化W′WTWW^TW′WT——这样只要训练一组权值向量就可以 再加一个约束若不考虑sigmoid的话 若W−1WTW^{-1}W^TW−1WT:正交矩阵也就是说W是可以训练成正交矩阵的 深度结构 预测时只看encoderencoder1–encoder2–encoder3逐层训练训练时才看解码过程 将input–encoder1–code1–decoder1–input’,训练好后去除decoder1将input–encoder1–code1–encoder2–code2–decoder2–code1’依次让每一层都得到最小的重构误差每一层都一个好的表达 监督学习 encoder已经得到了一个很好地表达有一个好的初始值分类器有监督微调训练 只调整分类器整体调整端对端更好 扩展通过增加约束来发现输入数据的结构 稀疏自编码器 约束限制使得得到的表达code尽量稀疏 L1范数项ywTxyw^TxywTxloss(x,w)∣∣wy−x∣∣2λΣj∣yj∣loss(x,w)||wy-x ||^2\lambda\Sigma_j|y_j|loss(x,w)∣∣wy−x∣∣2λΣj∣yj∣–y长度小loss要最小化zwy 稀疏容易得到更好的表达 降噪自编码器 存在噪声提高鲁棒性操作 x–x’:以一定概率分布擦除x中项置0x’-y–z:loss(z,x)做误差迭代—这样就学习到了x’(破损数据破损数据的优点 破损数据训练出来的w噪声小破损数据一定程度减轻了训练数据与测试数据的代购去除了噪声破损数据不影响记忆人脑也是如此虽然是随意擦除 栈式自编码器的优点 有强大的表达能力深度神经网络的所有优点可以获得输入的层次型分组/部分-整体分解结构 学习方式逐层训练前一层的输出是后一层的输入–依次训练
深度玻尔兹曼机DBM(deep boltzmann machine(DBM)
网络结构状态…目标函数…特点Hopfield网络单层全连接有权无向图wijwji,wii01-10,确定性地取1、0E−12STωSE-\frac{1}{2}S^T\omega SE−21STωS1.确定性地接受能量下降方向2.会达到局部极小模拟退火解决以一定概率接受能量上升Boltzman机器p(v)符合玻尔兹曼分布生成模型有隐层(与外部无连接有可见层输入层、输出层(与外部有链接收到外部约束全连接同层也有有权无向图wijwji,wii01(on),0(off),状态满足boltzman分布,以p取1二值神经元PαPβexp(−(E(Sα)−E(Sβ))/T)\frac{P_\alpha}{P_\beta}exp(-(E(S^\alpha)-E(S^\beta))/T)PβPαexp(−(E(Sα)−E(Sβ))/T)1.接受能量下降以p(p(si1)11exp(−bi−Σjsjwji)p(s_i1)\frac{1}{1exp(-b_i-\Sigma_js_jw_{ji})}p(si1)1exp(−bi−Σjsjwji)1)接受能量上升模拟退火2.训练时间长3.结构复杂4.也可能局部极小5.功能强大RBM(受限Boltzman机p(v)符合玻尔兹曼分布,生成模型区别同层无连接其他全连接可见层1输入v)、隐藏层1(h给定可视层下条件独立)二部图vi,hj{0,1}以p取1二值神经元联合组态能量函数E(v,h;θ)−Σijwijvihj−Σibivi−Σjajhj,pθ(v,h)1Z(θ)exp(−E)目标函数log(pθ(v))(极大似然E(v,h;\theta)-\Sigma_{ij}w_{ij}v_ih_j-\Sigma_{i}b_{i}v_i-\Sigma_{j}a_{j}h_j, p_\theta(v,h)\frac{1}{Z(\theta)}exp(-E)目标函数log(p_\theta(v))(极大似然E(v,h;θ)−Σijwijvihj−Σibivi−Σjajhj,pθ(v,h)Z(θ)1exp(−E)目标函数log(pθ(v))(极大似然DBN生成模型多层顶层无向图RBM)hn-1-hn),低层(v-hn-1),去除上层下层是个RBM二值神经元从下到上逐层当做RBM训练低层是单向的与RBM不一致所以提出了DBMDBMp(v)符合玻尔兹曼分布,生成模型多层全无向图二值神经元双向每层需要考虑上下层神经元多层E(v,h1,h2;θ)−vTW1h1−h1TW2h2;p(v)Σh1,h21Zexp(−E)E(v,h^1,h^2;\theta)-v^TW^1h^1-h^{1T}W^2h^2;p(v)\Sigma_{h1,h2}\frac {1}{Z}exp(-E)E(v,h1,h2;θ)−vTW1h1−h1TW2h2;p(v)Σh1,h2Z1exp(−E)低层是单向的与RBM不一致所以提出了DBM
Hopfield网络 以确定的方式确定神经元输出是1/0:输入0:1,输入0:0 BM 二值神经元以不确定性的方式决定输出是1/0 sigmoid:p(si1)11exp(−bi−Σjsjwji)p(s_i1)\frac{1}{1exp(-b_i-\Sigma_js_jw_{ji})}p(si1)1exp(−bi−Σjsjwji)1 状态分布PαPβexp(−(E(Sα)−E(Sβ))/T)\frac{P_\alpha}{P_\beta}exp(-(E(S^\alpha)-E(S^\beta))/T)PβPαexp(−(E(Sα)−E(Sβ))/T)状态Pαexp(−(E(Sα))/T){P_\alpha}exp(-(E(S^\alpha))/T)Pαexp(−(E(Sα))/T) RBM生成模型 二部图层内无连接层间全连接能量函数E(v,h;θ)−Σijwijvihj−Σibivi−ΣjajhjE(v,h;\theta)-\Sigma_{ij}w_{ij}v_ih_j-\Sigma_{i}b_{i}v_i-\Sigma_{j}a_{j}h_jE(v,h;θ)−Σijwijvihj−Σibivi−Σjajhj(v,h)联合分布满足boltzman pθ(v,h)1Z(θ)exp(−E)1Z(θ)ΠijewijvihjΠiebiviΠjeajhjexp(−E)Σv,hexp(−E)p_\theta(v,h)\frac{1}{Z(\theta)}exp(-E)\frac{1}{Z(\theta)}\Pi_{ij}e^{w_{ij}v_ih_j}\Pi_{i}e^{b_{i}v_i}\Pi_je^{a_{j}h_j} \frac{exp(-E)}{\Sigma_{v,h}exp(-E)}pθ(v,h)Z(θ)1exp(−E)Z(θ)1ΠijewijvihjΠiebiviΠjeajhjΣv,hexp(−E)exp(−E)Z(θ)Σv,hexp(−E)Z(\theta)\Sigma_{v,h}exp(-E)Z(θ)Σv,hexp(−E)可以得到其他分布 pθ(v,h)exp(−E)Σv,hexp(−E)p_\theta(v,h)\frac{exp(-E)}{\Sigma_{v,h}exp(-E)}pθ(v,h)Σv,hexp(−E)exp(−E)pθ(v)Σhexp(−E)Σv,hexp(−E)p_\theta(v)\frac{\Sigma_{h}exp(-E)}{\Sigma_{v,h}exp(-E)}pθ(v)Σv,hexp(−E)Σhexp(−E)pθ(h)Σvexp(−E)Σv,hexp(−E)p_\theta(h)\frac{\Sigma_{v}exp(-E)}{\Sigma_{v,h}exp(-E)}pθ(h)Σv,hexp(−E)Σvexp(−E)pθ(h∣v)exp(−E)Σhexp(−E)p_\theta(h|v)\frac{exp(-E)}{\Sigma_{h}exp(-E)}pθ(h∣v)Σhexp(−E)exp(−E)pθ(v∣h)exp(−E)Σvexp(−E)p_\theta(v|h)\frac{exp(-E)}{\Sigma_{v}exp(-E)}pθ(v∣h)Σvexp(−E)exp(−E) 目标函数log(pθ(v))log(p_\theta(v))log(pθ(v))——极大似然 N个样本 maxΣi1Nlog(pθ(v))max \Sigma_{i1}^N log(p_\theta(v))maxΣi1Nlog(pθ(v)) log(pθ(v))logΣhexp(−E)−logΣv′,h′exp(−E)log(p_\theta(v))log{\Sigma_{h}exp(-E)}-log{\Sigma_{v,h}exp(-E)}log(pθ(v))logΣhexp(−E)−logΣv′,h′exp(−E)求导梯度法、CD算法 ∂log(pθ(v))∂θΣhexp(−E)−∂E∂θΣhexp(−E)−Σv′,h′exp(−E)−∂E∂θΣv′,h′exp(−E)\frac{\partial {log(p_\theta(v))}}{\partial \theta}\frac{\Sigma_{h}exp(-E)\frac{- \partial E}{\partial \theta}}{\Sigma_{h}exp(-E)}-\frac{\Sigma_{v,h}exp(-E)\frac{- \partial E}{\partial \theta}}{\Sigma_{v,h}exp(-E)}∂θ∂log(pθ(v))Σhexp(−E)Σhexp(−E)∂θ−∂E−Σv′,h′exp(−E)Σv′,h′exp(−E)∂θ−∂EΣh(p(h∣v)−∂E∂θ)−Σv′,h′(p(v′,h′)−∂E∂θ)\Sigma_h(p(h|v)\frac{- \partial E}{\partial \theta})-\Sigma_{v,h}(p(v,h)\frac{- \partial E}{\partial \theta})Σh(p(h∣v)∂θ−∂E)−Σv′,h′(p(v′,h′)∂θ−∂E)Ep(h∣v)(−∂E∂θ)−Ep(v′,h′)(−∂E∂θ)E_{p(h|v)}(\frac{- \partial E}{\partial \theta})-E_{p(v,h)}(\frac{- \partial E}{\partial \theta})Ep(h∣v)(∂θ−∂E)−Ep(v′,h′)(∂θ−∂E)期望正面-负面观测分布Ep(h∣v)(−∂E∂θ)E_{p(h|v)}(\frac{- \partial E}{\partial \theta})Ep(h∣v)(∂θ−∂E):给定观测数据之后隐变量对于可视层的在这个状态之下的一个期望获得的结果真实分布$E_{p(v’,h’)}(\frac{- \partial E}{\partial \theta}) $:整体的学习期望在整个网络所有变化之下的期望的求导 对于具体的参数W,a,b E−vTWh−bTv−aThE-v^TWh-b^Tv-a^ThE−vTWh−bTv−aTh p(v,h)1zevTWhebTveaThp(v,h)\frac{1}{z}e^{v^TWh}e^{b^Tv}e^{a^Th}p(v,h)z1evTWhebTveaThp(h∣v)Πjp(hj∣v)Πje(ajΣiwijvi)hj1e(ajΣiwijvi)p(h|v)\Pi_jp(h_j|v)\Pi_j\frac{e^{(a_j\Sigma_iw_{ij} v_i)h_j}}{1e^{(a_j\Sigma_iw_{ij}v_i)}}p(h∣v)Πjp(hj∣v)Πj1e(ajΣiwijvi)e(ajΣiwijvi)hjp(v∣h)Πjp(vi∣h)Πie(biΣjwijhj)vi1e(biΣjwijhj))p(v|h)\Pi_jp(v_i|h)\Pi_i\frac{e^{(b_i\Sigma_jw_{ij} h_j)v_i}}{1e^{(b_i\Sigma_jw_{ij} h_j))}}p(v∣h)Πjp(vi∣h)Πi1e(biΣjwijhj))e(biΣjwijhj)vi−∂E∂wij−vihj\frac{- \partial E}{\partial w_{ij}}-v_ih_j∂wij−∂E−vihj−∂E∂bi−vi\frac{- \partial E}{\partial b_{i}}-v_i∂bi−∂E−vi−∂E∂aj−hj\frac{- \partial E}{\partial a_{j}}-h_j∂aj−∂E−hj ∂log(pθ(v))∂θEp(h∣v)(−∂E∂θ)−Ep(v′,h′)(−∂E∂θ)\frac{\partial {log(p_\theta(v))}}{\partial \theta}E_{p(h|v)}(\frac{- \partial E}{\partial \theta})-E_{p(v,h)}(\frac{- \partial E}{\partial \theta})∂θ∂log(pθ(v))Ep(h∣v)(∂θ−∂E)−Ep(v′,h′)(∂θ−∂E) ∂log(pθ(v))∂wijΣhj(p(hj∣v)vihj)−Σv′(p(v′)Σhj′(p(hj′∣v′)vi′hj′))\frac{\partial {log(p_\theta(v))}}{\partial w_{ij}}\Sigma_{h_j}(p(h_j|v)v_ih_j)-\Sigma_{v}(p(v)\Sigma_{h_j}(p(h_j|v)v_ih_j))∂wij∂log(pθ(v))Σhj(p(hj∣v)vihj)−Σv′(p(v′)Σhj′(p(hj′∣v′)vi′hj′)) 进一步简化p(hj1∣v)vi−Σv′(p(v′)p(hj′1∣v′)vi′))p(h_j1|v)v_i-\Sigma_{v}(p(v)p(h_j1|v)v_i))p(hj1∣v)vi−Σv′(p(v′)p(hj′1∣v′)vi′))取值0就没有了hj0了都 ∂log(pθ(v))∂biΣhj(p(hj∣v)vi)−Σv′(p(v′)Σhj′(p(hj′∣v′)vi′))\frac{\partial {log(p_\theta(v))}}{\partial b_{i}}\Sigma_{h_j}(p(h_j|v)v_i)-\Sigma_{v}(p(v)\Sigma_{h_j}(p(h_j|v)v_i))∂bi∂log(pθ(v))Σhj(p(hj∣v)vi)−Σv′(p(v′)Σhj′(p(hj′∣v′)vi′)) vi−Σv′(p(v′)vi′)Σhjp(hj′∣v′)1v_i-\Sigma_{v}(p(v)v_i)\Sigma_{h_j}p(h_j|v)1vi−Σv′(p(v′)vi′)Σhjp(hj′∣v′)1 ∂log(pθ(v))∂ajΣhj(p(hj∣v)hj)−Σv′(p(v′)Σhj′(p(hj′∣v′)hj′))\frac{\partial {log(p_\theta(v))}}{\partial a_{j}}\Sigma_{h_j}(p(h_j|v)h_j)-\Sigma_{v}(p(v)\Sigma_{h_j}(p(h_j|v)h_j))∂aj∂log(pθ(v))Σhj(p(hj∣v)hj)−Σv′(p(v′)Σhj′(p(hj′∣v′)hj′)) p(hj1∣v)−Σv′(p(v′)p(hj′1∣v′)))p(h_j1|v)-\Sigma_{v}(p(v)p(h_j1|v)))p(hj1∣v)−Σv′(p(v′)p(hj′1∣v′))) 计算 v是已知的第一项可以计算但第二项不好计算计算第二项采样E(f(x))Σxf(x)p(x)1Lσxf(x)p(x)E(f(x))\Sigma_xf(x)p(x)\frac{1}{L}\sigma_{x~f(x)}p(x)E(f(x))Σxf(x)p(x)L1σx f(x)p(x) CD-K采样与吉布斯采样存在差异 v0输入定v0-p(h|v)-h0通过二值神经元计算 sigmoid:p(si1)11exp(−bi−Σjsjwji)p(s_i1)\frac{1}{1exp(-b_i-\Sigma_js_jw_{ji})}p(si1)1exp(−bi−Σjsjwji)1 h0-p(v|h)-v1(采样CD-1就已经能够得到足够的精度了 $v{v_i}v^{(0)}vn $初始化Δwij0,Δai0,Δbj0\Delta w_{ij}0,\Delta a_i0,\Delta b_j0Δwij0,Δai0,Δbj0迭代 所有j,hj(0)p(hj∣v(0))h_j^{(0)}~p(h_j|v^{(0)})hj(0) p(hj∣v(0))所有i,vi(0)p(vi∣h(0))v_i^{(0)}~p(v_i|h^{(0)})vi(0) p(vi∣h(0))计算梯度取平均值批处理每个样本都叠加
