自己做网站需不需要钱,国家开发银行贷款学生在线系统,无为县建设局网站,网页版qq在线登录界面一、Linear#xff08;线性层#xff09; 即神经网络的线性层#xff0c;用于将输入映射到下一层的特征空间。它接受一个输入并与该层的权重的转置相乘。线性层没有激活函数。 公式#xff1a; y x*W^T b#xff0c;其中 W 是权重矩阵#xff0c;b 是偏置向量。 pytorc…一、Linear线性层 即神经网络的线性层用于将输入映射到下一层的特征空间。它接受一个输入并与该层的权重的转置相乘。线性层没有激活函数。 公式 y x*W^T b其中 W 是权重矩阵b 是偏置向量。 pytorch的线性层代码示例如下
import torch
import torch.nn as nn# 定义线性层
linear_layer nn.Linear(in_features10, out_features5)# 创建输入
input_data torch.randn(5, 10) # 假设输入维度为10# 应用线性变换
output linear_layer(input_data)
print(output)作者智慧搬砖者
链接https://www.zhihu.com/question/607822173/answer/3085671476
来源知乎
著作权归作者所有。商业转载请联系作者获得授权非商业转载请注明出处。二、FC FC全连接层。全连接层的每个神经元和上一层的所有神经元都有连接用于把前面提取到的特征综合起来。全连接层通常位于神经网络的最后一层应用于分类和回归任务。 全连接层的pytorch代码实现如下
import torch
import torch.nn as nn# 定义模型参数
input_size 10 # 输入维度
output_size 1 # 输出维度# 创建全连接层
fc_layer nn.Linear(input_size, output_size)# 创建输入数据
input_data torch.randn(1, input_size) # 假设输入维度为10# 应用全连接层
output fc_layer(input_data)
print(output)三、FFN Fast-forward network(前馈神经网络) 它的神经元只与下一层的神经元连接没有循环或反馈的连接可用于分类、回归、聚类任务。它的网络结构包含输入层、隐藏层、输出层。 用pytorch实现一个简单的前馈神经网如下
import torch
import torch.nn as nn
input_size 784 # 输入层的大小等于图片的像素数
hidden_size 500 # 隐藏层的大小可以自己设定
num_classes10
# 定义网络结构
model nn.Sequential(nn.Linear(input_size, hidden_size), # 输入层到隐藏层线性变换nn.ReLU(), # 隐藏层的激活函数使用ReLUnn.Linear(hidden_size, num_classes) # 隐藏层到输出层线性变换
)
inputs torch.randn(100, 784);
outputs model(inputs)
print(outputs.shape) #(100,10)四MLP MLP通常只包含全连接层和激活函数层而FFN可以包含其他类型的层如卷积层、池化层、归一化层、残差连接层等2。FFN也可以看作是一种广义的MLP即任何前馈神经网络都可以看作是一个MLP但不是所有的MLP都是FFN。
