广州网站设计建设,国外做美食的网站有哪些,校友录网站开发设计,淘宝客优惠券的网站是怎么做的用tensorflow搭建RNN(LSTM)进行MNIST 手写数字辨识
循环神经网络RNN相比传统的神经网络在处理序列化数据时更有优势#xff0c;因为RNN能够将加入上#xff08;下#xff09;文信息进行考虑。一个简单的RNN如下图所示#xff1a; 将这个循环展开得到下图#xff1a; 上一…用tensorflow搭建RNN(LSTM)进行MNIST 手写数字辨识
循环神经网络RNN相比传统的神经网络在处理序列化数据时更有优势因为RNN能够将加入上下文信息进行考虑。一个简单的RNN如下图所示 将这个循环展开得到下图 上一时刻的状态会传递到下一时刻。这种链式特性决定了RNN能够很好的处理序列化的数据RNN 在语音识别语言建模翻译图片描述等问题上已经取得了很到的结果。 根据输入、输出的不同和是否有延迟等一些情况RNN在应用中有如下一些形态
RNN存在的问题
RNN能够把状态传递到下一时刻好像对一部分信息有记忆能力一样如下图 h3
的值可能会由x1,x2的值来决定。 但是对于一些复杂场景 由于距离太远中间间隔了太多状态x1,x2对ht1
的值几乎起不到任何作用。梯度消失和梯度爆炸
LSTMLong Short Term Memory
由于RNN不能很好地处理这种问题于是出现了LSTMLong Short Term Memory一种加强版的RNNLSTM可以改善梯度消失问题。简单来说就是原始RNN没有长期的记忆能力于是就给RNN加上了一些记忆控制器实现对某些信息能够较长期的记忆而对某些信息只有短期记忆能力。如上图所示LSTM中存在Forget Gate,Input Gate,Output Gate来控制信息的流动程度。 RNN LSTN 加号圆圈表示线性相加乘号圆圈表示用gate来过滤信息。
Understanding LSTM中对LSTM有非常详细的介绍。对应的中文翻译
LSTM MNIST手写数字辨识
实际上图片文字识别这类任务用CNN来做效果更好但是这里想要强行用LSTM来做一波。 MNIST_data中每一个image的大小是28*28以行顺序作为序列输入即第一行的28个像素作为$x_{0} 第二行为
x_1...第28行的28个像素作为
x_28$输入一个网络结构总共的输入是28个维度为28的向量输出值是10维的向量表示的是0-9个数字的概率值。这是一个many to one的RNN结构。 下面直接上代码
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist input_data.read_data_sets(MNIST_data, one_hotTrue)# 参数设置
BATCH_SIZE 100 # BATCH的大小相当于一次处理50个image
TIME_STEP 28 # 一个LSTM中输入序列的长度image有28行
INPUT_SIZE 28 # x_i 的向量长度image有28列
LR 0.01 # 学习率
NUM_UNITS 100 # 多少个LTSM单元
ITERATIONS8000 # 迭代次数
N_CLASSES10 # 输出大小0-9十个数字的概率# 定义 placeholders 以便接收x,y
train_x tf.placeholder(tf.float32, [None, TIME_STEP * INPUT_SIZE]) # 维度是[BATCH_SIZETIME_STEP * INPUT_SIZE]
image tf.reshape(train_x, [-1, TIME_STEP, INPUT_SIZE]) # 输入的是二维数据将其还原为三维维度是[BATCH_SIZE, TIME_STEP, INPUT_SIZE]
train_y tf.placeholder(tf.int32, [None, N_CLASSES]) # 定义RNNLSTM结构
rnn_cell tf.contrib.rnn.BasicLSTMCell(num_unitsNUM_UNITS)
outputs,final_state tf.nn.dynamic_rnn(cellrnn_cell, # 选择传入的cellinputsimage, # 传入的数据initial_stateNone, # 初始状态dtypetf.float32, # 数据类型time_majorFalse, # False: (batch, time step, input); True: (time step, batch, input)这里根据image结构选择False
)
output tf.layers.dense(inputsoutputs[:, -1, :], unitsN_CLASSES) 这里outputs,final_state tf.nn.dynamic_rnn....final_state包含两个量第一个为c保存了每个LSTM任务最后一个cell中每个神经元的状态值第二个量h保存了每个LSTM任务最后一个cell中每个神经元的输出值所以c和h的维度都是[BATCH_SIZE,NUM_UNITS]。outputs的维度是[BATCH_SIZE,TIME_STEP,NUM_UNITS],保存了每个step中cell的输出值h。 由于这里是一个many to one的任务只需要最后一个step的输出outputs[:, -1, :]output tf.layers.dense(inputsoutputs[:, -1, :], unitsN_CLASSES) 通过一个全连接层将输出限制为N_CLASSES。
loss tf.losses.softmax_cross_entropy(onehot_labelstrain_y, logitsoutput) # 计算loss
train_op tf.train.AdamOptimizer(LR).minimize(loss) #选择优化方法correct_prediction tf.equal(tf.argmax(train_y, axis1),tf.argmax(output, axis1))
accuracy tf.reduce_mean(tf.cast(correct_prediction,float)) #计算正确率sess tf.Session()
sess.run(tf.global_variables_initializer()) # 初始化计算图中的变量for step in range(ITERATIONS): # 开始训练x, y mnist.train.next_batch(BATCH_SIZE) test_x, test_y mnist.test.next_batch(5000)_, loss_ sess.run([train_op, loss], {train_x: x, train_y: y})if step % 500 0: # testvalidationaccuracy_ sess.run(accuracy, {train_x: test_x, train_y: test_y})print(train loss: %.4f % loss_, | test accuracy: %.2f % accuracy_)训练过程输出
train loss: 2.2990 | test accuracy: 0.13
train loss: 0.1347 | test accuracy: 0.96
train loss: 0.0620 | test accuracy: 0.97
train loss: 0.0788 | test accuracy: 0.98
train loss: 0.0160 | test accuracy: 0.98
train loss: 0.0084 | test accuracy: 0.99
train loss: 0.0436 | test accuracy: 0.99
train loss: 0.0104 | test accuracy: 0.98
train loss: 0.0736 | test accuracy: 0.99
train loss: 0.0154 | test accuracy: 0.98
train loss: 0.0407 | test accuracy: 0.98
train loss: 0.0109 | test accuracy: 0.98
train loss: 0.0722 | test accuracy: 0.98
train loss: 0.1133 | test accuracy: 0.98
train loss: 0.0072 | test accuracy: 0.99
train loss: 0.0352 | test accuracy: 0.98
可以看到虽然RNN是擅长处理序列类的任务在MNIST手写数字图片辨识这个任务上RNN同样可以取得很高的正确率。
参考http://colah.github.io/posts/2015-08-Understanding-LSTMs/https://yjango.gitbooks.io/superorganism/content/lstmgru.html参考代码
https://www.cnblogs.com/sandy-t/p/6930608.html
有些人一辈子都没有得到过自己想要的因为他们总是半途而废
