个人如何做网站软件,企业网站制作设,wordpress网站加密码,单页面网站设计TensorFlow版本#xff1a;2.13.0TensorFlow官方文档TensorFlow官方文档中文版
TensorFlow中搭建并训练一个神经网络分为以下几步#xff1a;
定义神经网络配置损失函数以及优化器训练#xff1a;反向传播、梯度下降
下面以LeNet-5为例#xff0c;搭建一个卷积神经网络用…TensorFlow版本2.13.0TensorFlow官方文档TensorFlow官方文档中文版
TensorFlow中搭建并训练一个神经网络分为以下几步
定义神经网络配置损失函数以及优化器训练反向传播、梯度下降
下面以LeNet-5为例搭建一个卷积神经网络用于手写数字识别。LeNet-5以及MNIST数据集介绍见PyTorch搭建神经网络
1. 定义神经网络
TensorFlow提供了三种构建神经网络的方法分别是继承Model类自定义模型、序列式以及函数式。
1.1 继承Model类自定义
继承 keras.Model 类重写父类的 call 方法该方法负责前向计算
例如
from keras import layers
from tensorflow import kerasclass MyModel(keras.Model):def __init__(self):super(MyModel, self).__init__()self.conv1 layers.Conv2D(filters6, kernel_size(5, 5), strides(1, 1), activationrelu)self.pool1 layers.AveragePooling2D(pool_size(2, 2), strides(2, 2))self.conv2 layers.Conv2D(filters16, kernel_size(5, 5), strides(1, 1), activationrelu)self.pool2 layers.AveragePooling2D(pool_size(2, 2), strides(2, 2))self.fc1 layers.Dense(units16 * 4 * 4, activationrelu)self.fc2 layers.Dense(units120, activationrelu)self.fc3 layers.Dense(units10, activationsoftmax)def call(self, x):x self.conv1(x)x self.pool1(x)x self.conv2(x)x self.pool2(x)x layers.Flatten()(x) # 二维压缩成一维x self.fc1(x)x self.fc2(x)x self.fc3(x)return x1.2 序列式
该方式适用于简单的层堆栈其中每一层恰好有一个输入张量和一个输出张量在以下情况下不适合使用该方法 模型有多个输入或多个输出任何层都有多个输入或多个输出需要进行图层共享想要非线性拓扑如残差连接、多分支模型
例如
from keras import layers
from tensorflow import kerasdef my_model():model keras.Sequential()model.add(layers.Conv2D(filters6, kernel_size(5, 5), strides(1, 1), activationrelu))model.add(layers.AveragePooling2D(pool_size(2, 2), strides(2, 2)))model.add(layers.Conv2D(filters16, kernel_size(5, 5), strides(1, 1), activationrelu))model.add(layers.AveragePooling2D(pool_size(2, 2), strides(2, 2)))model.add(layers.Flatten())model.add(layers.Dense(units16 * 4 * 4, activationrelu))model.add(layers.Dense(units120, activationrelu))model.add(layers.Dense(units10, activationsoftmax))# 另一种堆叠神经网络的方式model keras.Sequential([layers.Conv2D(filters6, kernel_size(5, 5), strides(1, 1), activationrelu),layers.AveragePooling2D(pool_size(2, 2), strides(2, 2)),layers.Conv2D(filters16, kernel_size(5, 5), strides(1, 1), activationrelu),layers.AveragePooling2D(pool_size(2, 2), strides(2, 2)),layers.Flatten(),layers.Dense(units16 * 4 * 4, activationrelu),layers.Dense(units120, activationrelu),layers.Dense(units10, activationsoftmax),])return model1.3 函数式
该方法允许多个输入、多个输出、分支和层共享是构建Keras模型最流行的方法深度学习的模型通常是由层 (layers) 组成的有向无环图而函数式就是构建这种图的一种有效方式该方法: 需要单独定义输入然后需要创建一个输出对象同时创建所有层这些层相互关联并与输出相关联最后创建一个接受输入和输出作为参数的模型对象
例如
from keras import layers
from tensorflow import kerasdef my_model(input_shape):# 首先创建一个输入节点inputs keras.Input(input_shape)# 搭建神经网络x layers.Conv2D(filters6, kernel_size(5, 5), strides(1, 1), activationrelu)(inputs)x layers.AveragePooling2D(pool_size(2, 2), strides(2, 2))(x)x layers.Conv2D(filters16, kernel_size(5, 5), strides(1, 1), activationrelu)(x)x layers.AveragePooling2D(pool_size(2, 2), strides(2, 2))(x)x layers.Flatten()(x)x layers.Dense(units16 * 4 * 4, activationrelu)(x)x layers.Dense(units120, activationrelu)(x)# 输出层outputs layers.Dense(units10, activationsoftmax)(x)model keras.Model(inputsinputs, outputsoutputs)return model2. 配置损失函数以及优化器 损失函数 损失函数用于计算真实值和预测值之间的差异。在TensorFlow官方文档中给出了可用的损失函数列表。 这里我们使用交叉熵损失函数keras.losses.SparseCategoricalCrossentropy。该损失函数有一个参数from_logits 该参数决定是否对预测值进行Softmax默认值为 false 。 优化器 优化器根据损失函数求出的损失对神经网络的参数进行更新。在TensorFlow官方文档中给出了可用的优化器。这里我们使用keras.optimizers.SGD作为我们的优化器。
from tensorflow import kerasloss keras.losses.SparseCategoricalCrossentropy() # 预测值已Softmaxfrom_logits 取默认值
optimizer keras.optimizers.SGD(0.0001)3. 训练以及测试模型
3.1训练模型
模型训练只需在配置好训练参数后调用 fit 函数即可该函数会自动进行前向计算、反向传播、梯度下降。
如
# 加载数据集
(train_images, train_labels), (test_images, test_labels) datasets.mnist.load_data()# 维度调整增加一个维度代表通道数
# 卷积神经网络的输入数据是4维的分别代表: batch size图片高度、宽度、通道数
# 批量大小在训练时指定因此输入的数据应该是3维的分别代表图片高度、宽度、通道数
train_images tf.reshape(train_images, (train_images.shape[0], train_images.shape[1], train_images.shape[2], 1))
train_images tf.cast(train_images, tf.float32)test_images tf.reshape(test_images, (test_images.shape[0], test_images.shape[1], test_images.shape[2], 1))
test_images tf.cast(test_images, tf.float32)model my_model(train_images.shape[1:])# 配置神经网络设置损失函数、优化器
loss keras.losses.SparseCategoricalCrossentropy() # 预测值已Softmaxfrom_logits 取默认值
optimizer keras.optimizers.SGD(0.0001)
model.compile(lossloss, optimizerkeras.optimizers.SGD(0.00001))# 训练神经网络设置训练集与验证集的比例、迭代次数、batch size等
model.fit(train_images, train_labels, validation_split0.3, epochs1000, batch_size20)注
TensorFlow会自动决定是使用GPU还是CPU默认情况下优先使用GPU。
3.2 测试模型
模型训练只需调用 predict 函数即可。
pre_labels model.predict(test_images)4. 整体代码
import tensorflow as tf
from keras import datasets
from keras import layers
from tensorflow import kerasdef my_model(input_shape):# 首先创建一个输入节点inputs keras.Input(input_shape)# 搭建神经网络x layers.Conv2D(filters6, kernel_size(5, 5), strides(1, 1), activationrelu)(inputs)x layers.AveragePooling2D(pool_size(2, 2), strides(2, 2))(x)x layers.Conv2D(filters16, kernel_size(5, 5), strides(1, 1), activationrelu)(x)x layers.AveragePooling2D(pool_size(2, 2), strides(2, 2))(x)x layers.Flatten()(x)x layers.Dense(units16 * 4 * 4, activationrelu)(x)x layers.Dense(units120, activationrelu)(x)# 输出层outputs layers.Dense(units10, activationsoftmax)(x)model keras.Model(inputsinputs, outputsoutputs)return model# 加载数据集
(train_images, train_labels), (test_images, test_labels) datasets.mnist.load_data()# 维度调整增加一个维度代表通道数
# 卷积神经网络的输入数据是4维的分别代表: batch size图片高度、宽度、通道数
# 批量大小在训练时指定因此输入的数据应该是3维的分别代表图片高度、宽度、通道数
train_images tf.reshape(train_images, (train_images.shape[0], train_images.shape[1], train_images.shape[2], 1))
train_images tf.cast(train_images, tf.float32)test_images tf.reshape(test_images, (test_images.shape[0], test_images.shape[1], test_images.shape[2], 1))
test_images tf.cast(test_images, tf.float32)model my_model(train_images.shape[1:])# 配置神经网络设置损失函数、优化器
loss keras.losses.SparseCategoricalCrossentropy() # 预测值已Softmaxfrom_logits 取默认值
optimizer keras.optimizers.SGD(0.0001)
model.compile(lossloss, optimizerkeras.optimizers.SGD(0.00001))# 训练神经网络设置训练集与验证集的比例、迭代次数、batch size等
model.fit(train_images, train_labels, validation_split0.3, epochs1000, batch_size20)pre_labels model.predict(test_images)
