php网站开发书籍,计算机专业主要学什么前景怎么样,我国政务网站建设统计,做电影的网站赚什么钱说明#xff1a;本文依据《Sklearn 与 TensorFlow 机器学习实用指南》完成#xff0c;所有版权和解释权均归作者和翻译成员所有#xff0c;我只是搬运和做注解。进入第二部分深度学习第十四章循环神经网络循环神经网络可以分析时间序列数据#xff0c;诸如股票价格#xf…说明本文依据《Sklearn 与 TensorFlow 机器学习实用指南》完成所有版权和解释权均归作者和翻译成员所有我只是搬运和做注解。进入第二部分深度学习第十四章循环神经网络循环神经网络可以分析时间序列数据诸如股票价格并告诉你什么时候买入和卖出。在自动驾驶系统中他们可以预测行车轨迹避免发生交通意外。循环神经网络可以在任意长度的序列上工作而不是之前讨论的只能在固定长度的输入上工作的网络。举个例子它们可以把语句文件以及语音范本作为输入使得它们在诸如自动翻译语音到文本或者情感分析(例如读取电影评论并提取评论者关于该电影的感觉)的自然语言处理系统中极为有用。另外循环神经网络的预测能力使得它们具备令人惊讶的创造力。可以要求它们去预测一段旋律的下几个音符随机选取这些音符的其中之一并演奏它。然后要求网络给出接下来最可能的音符演奏它如此周而复始。同样循环神经网络可以生成语句图像标注等。在本章中教程介绍以下几点循环神经网络背后的基本概念循环神经网络所面临的主要问题(在第11章中讨论的消失爆炸的梯度)广泛用于反抗这些问题的方法LSTM 和 GRU cell(单元)。展示如何用 TensorFlow 实现循环神经网络。最终我们将看看及其翻译系统的架构。5.构建多层RNN我们在这里构建一个三层的RNN。基本参数设定如下n_steps 28n_inputs 28n_neurons 100n_outputs 10learning_rate 0.001n_layers 3构建三层可以发现是使用for循环循环3次将之前一层的神经网络复制成三个压入一个layers得list中。layers [tf.nn.rnn_cell.BasicRNNCell(num_unitsn_neurons, activationtf.nn.relu)for layer in range(n_layers)]然后使用tf.nn.rnn_cell.MultiRNNCell(layers)处理layers。X tf.placeholder(tf.float32, [None, n_steps, n_inputs])y tf.placeholder(tf.int32, [None])# 原始一层的神经网络# basic_cell tf.keras.layers.SimpleRNNCell(unitsn_neurons)layers [ tf.nn.rnn_cell.BasicRNNCell(num_unitsn_neurons, activationtf.nn.relu) for layer in range(n_layers)]# 这个地方应该也可以使用Keras但是没有查到multi_layer_cell tf.nn.rnn_cell.MultiRNNCell(layers)outputs, states tf.nn.dynamic_rnn(multi_layer_cell, X, dtypetf.float32)# tf.concat是连接两个矩阵的操作其中values应该是一个tensor的list或者tuple。axis则是我们想要连接的维度。tf.concat返回的是连接后的tensor。states_concat tf.concat(axis1, valuesstates)logits tf.layers.dense(states_concat, n_outputs)xentropy tf.nn.sparse_softmax_cross_entropy_with_logits(labelsy, logitslogits)loss tf.reduce_mean(xentropy)optimizer tf.train.AdamOptimizer(learning_ratelearning_rate)training_op optimizer.minimize(loss)correct tf.nn.in_top_k(logits, y, 1)accuracy tf.reduce_mean(tf.cast(correct, tf.float32))init tf.global_variables_initializer()(X_train, y_train), (X_test, y_test) tf.keras.datasets.mnist.load_data()X_train X_train.astype(np.float32).reshape(-1, 28 * 28) / 255.0X_test X_test.astype(np.float32).reshape(-1, 28 * 28) / 255.0y_train y_train.astype(np.int32)y_test y_test.astype(np.int32)X_valid, X_train X_train[:5000], X_train[5000:]y_valid, y_train y_train[:5000], y_train[5000:]def shuffle_batch(X, y, batch_size): rnd_idx np.random.permutation(len(X)) n_batches len(X) // batch_size for batch_idx in np.array_split(rnd_idx, n_batches): X_batch, y_batch X[batch_idx], y[batch_idx] yield X_batch, y_batchX_test X_test.reshape((-1, n_steps, n_inputs))n_epochs 10batch_size 150with tf.Session() as sess: init.run() for epoch in range(n_epochs): for X_batch, y_batch in shuffle_batch(X_train, y_train, batch_size): X_batch X_batch.reshape((-1, n_steps, n_inputs)) sess.run(training_op, feed_dict{X: X_batch, y: y_batch}) acc_batch accuracy.eval(feed_dict{X: X_batch, y: y_batch}) acc_test accuracy.eval(feed_dict{X: X_test, y: y_test}) print(epoch, Last batch accuracy:
