百度站长,有诗意的广告公司名字,重庆店铺整站优化,服务商标是什么意思循环神经网络
RNN
核心思想:RNN内部有一个“内部状态”,随着序列处理而更新 h t f W ( h t − 1 , x t ) h_tf_W(h_{t-1},x_t) htfW(ht−1,xt) h t h_t ht是new state, h t − 1 h_{t-1} ht−1是old state, x t x_t xt是当前时间步的输入,所有时间步共享 f W…循环神经网络
RNN
核心思想:RNN内部有一个“内部状态”,随着序列处理而更新 h t f W ( h t − 1 , x t ) h_tf_W(h_{t-1},x_t) htfW(ht−1,xt) h t h_t ht是new state, h t − 1 h_{t-1} ht−1是old state, x t x_t xt是当前时间步的输入,所有时间步共享 f W f_W fW这个函数和参数 y t f W h y ( h t ) y_tf_{W_{hy}}(h_t) ytfWhy(ht)是当前时间步的输出
分块损失计算:计算所有时间步的前向传播,但只在每时间块内进行反向传播
RNN: one-to-many:两种情况:
x作为输入就最开始的一次,输出为 y 1 , y 2 . . . y_1,y_2... y1,y2...x作为输入多次,每轮都有x作为输入,输出为 y 1 , y 2 . . . y_1,y_2... y1,y2...
many-to-many:两种情况:
输入、输出都是等长的序列数据。每一步使用的参数U、W、b都是一样的,也就是说每个步骤的参数都是共享的,这是RNN的重要特点,一定要牢记。输入输出不等长:encoder-decoder结构,Encoder先将输入数据编码成一个上下文语义向量c语义向量c可以有多种表达方式最简单的方法就是把Encoder的最后一个隐状态赋值给c还可以对最后的隐状态做一个变换得到c也可以对所有的隐状态做变换。拿到c之后就用另一个RNN网络对其进行解码这部分RNN网络被称为Decoder
RNN优势:
可以处理任意长度的序列步骤t的计算(理论上)可以使用之前许多步骤的信息输入时间越长,模型尺寸就越大每个时间步都使用了相同的权重
RNN缺点:
循环计算速度慢在实践中,很难从多个步骤中获取信息(遗忘)
LSTM
LSTM引入了三个门( 输入门、遗忘门、输出门)和一个 细胞状态(cell state) LSTM可以在一定程度上解决梯度消失和梯度爆炸的问题,但不是完全解决 LSTM架构使RNN更容易在多个时间步长内保存信息 LSTM的连乘是 C t C_t Ct对 C t − 1 C_{t-1} Ct−1的偏导的不断累乘,如果前后的记忆差别不大,那偏导的值就是1,那就是多个1相乘。当然,也可能出现某一一些偏导的值很大,但是一定不会很多(换句话说,一句话的前后没有逻辑,那完全没有训练的必要)。 LSTM使用 t a n h ( x ) e x − e − x e x e − x tanh(x)\frac{e^x-e^{-x}}{e^xe^{-x}} tanh(x)exe−xex−e−x函数,而不用Sigmoid函数的原因:
Sigmoid函数比Tanh函数收敛饱和速度慢Sigmoid函数比Tanh函数值域范围更窄tanh的均值是0,Sigmoid均值在0.5左右,均值在0的数据显然更便于数据处理tanh的函数变化敏感区间更大对两者求导,发现tanh对计算的压力更小,直接是1-原函数的平方,不需要指数操作 forget gate选择忘记过去某些信息 input gate记忆现在的某些信息 i t i_t it门控信号决定了当前时间步应该更新细胞状态的哪些部分 C ~ t \widetilde C_t C t候选记忆单元代表了当前时间步可能被加入到细胞状态中的新信息 将过去与现在的记忆进行合并 output gate输出
GRU
可以被看作是LSTM的简化版。它保留了门控机制中的更新门和重置门,用于控制信息的流动,但省略了LSTM中的单独记忆单元。相比LSTM,GRU拥有更少的参数,因此计算效率更高,通常在一些任务上可以获得相近甚至更好的效果。
