做网站的的报价,网站怎么做站群,响应式网页设计什么意思,大庆做网站的同个人博客网站 : www.serendipper-x.cn #x1f433;#x1f433; 第一部分是PyTorch中有关Tensor的一些基本用法#xff0c;因为之前并没有系统学习过PyTorch#xff0c;所以现在看书的同时慢慢学习PyTorch的知识 第二部分是原书的知识和一些自己的理解 一、PyTorch 中…同个人博客网站 : www.serendipper-x.cn 第一部分是PyTorch中有关Tensor的一些基本用法因为之前并没有系统学习过PyTorch所以现在看书的同时慢慢学习PyTorch的知识 第二部分是原书的知识和一些自己的理解 一、PyTorch 中的Tensor1.1 Tensor的创建1.2 Tensor的数据类型1.2.1 torch.FloatTensor1.2.2 torch.IntTensor1.2.3 torch.rand1.2.4 torch.randn1.2.5 torch.range1.2.6 torch.zeros1.3 Tensor的运算1.3.1 torch.abs1.3.2 torch.add1.3.3 torch.clamp1.3.4 torch.div1.3.5 torch.mul1.3.6 torch.pow1.3.7 torch.mm1.3.8 torch.mv二、原书2.1 数据操作2.1.1 索引2.1.2 改变形状2.2 线性代数2.3 广播机制2.4 运算内存开销2.5 Tensor和NumPy相互转换2.2.6 Tensor on GPU张量 Tensor
张量包含了一个数据集合这个数据集合就是原始值变形而来的它可以是一个任何维度的数据。tensor的rank就是其维度。
Rank本意是矩阵的秩不过Tensor Rank和Matrix Rank的意义不太一样这里就还叫Rank。Tensor Rank的意义看起来更像是维度比如Rank 1就是向量Rank2 就是矩阵了Rank 0 就是一个值。
一、PyTorch 中的Tensor
在PyTorch中**torch.Tensor**是存储和变换数据的主要工具。Tensor 和 NumPy 的多维数组非常类似。
首先导入PyTorch
import torch1.1 Tensor的创建
创建一个5x3的未初始化的 Tensor
x torch.empty(5, 3)
print(x)tensor([[5.4880e23, 4.5886e-41, 2.7434e-24],[3.0915e-41, 4.4842e-44, 0.0000e00],[4.4842e-44, 0.0000e00, 2.7450e-24],[3.0915e-41, 5.4880e23, 4.5886e-41],[4.2039e-45, 0.0000e00, 4.6243e-44]])创建一个5x3的随机初始化的 Tensor
x torch.rand(5, 3) # 这里rand的用法后面会讲到
print(x)tensor([[0.7787, 0.8019, 0.3431],[0.1335, 0.3062, 0.2305],[0.6151, 0.5777, 0.2794],[0.4701, 0.6086, 0.9624],[0.6524, 0.6794, 0.8206]])创建一个5x3的long类型全0的 Tensor
x torch.zeros(5, 3, dtypetorch.long)
print(x)tensor([[0, 0, 0],[0, 0, 0],[0, 0, 0],[0, 0, 0],[0, 0, 0]])直接根据数据创建
x torch.tensor([5.5, 3])
print(x)tensor([5.5000, 3.0000])通过现有的 Tensor 来创建此方法会默认重用输入 Tensor 的一些属性例如数据类型除非自定义数据类型。
x x.new_ones(5, 3, dtypetorch.float64) # new_ones 返回一个与size大小相同的用1填充的张量,默认具有相同的torch.dtype和torch.device
print(x)x torch.randn_like(x, dtypetorch.float) # randn_like形状与输入的张量相同指定新的数据类型
print(x) tensor([[1., 1., 1.],[1., 1., 1.],[1., 1., 1.],[1., 1., 1.],[1., 1., 1.]], dtypetorch.float64)
tensor([[-0.9532, 0.4367, -0.1972],[ 2.1078, 0.3750, -0.2939],[-0.3682, 1.3246, -0.7197],[-0.4119, 0.2093, -0.3431],[-1.7094, 0.0638, -0.4597]])通过 shape 或者size() 来获取 Tensor 的形状
print(x.size())
print(x.shape)torch.Size([5, 3])
torch.Size([5, 3])✨ 注意返回的torch.Size其实就是一个tuple, 支持所有tuple的操作。
1.2 Tensor的数据类型
1.2.1 torch.FloatTensor
此变量用于生成数据类型为浮点型的 Tensor传递给 torch.FloatTensor 的参数可以是一个列表也可以是一个维度值。
a torch.FloatTensor(2, 3) # 两行三列
print(a)tensor([[5.4880e23, 4.5886e-41, 5.4880e23],[4.5886e-41, 1.4584e-19, 7.8458e17]])b torch.FloatTensor([[2, 3], [4, 5]])
print(b, b.shape, b.dtype)tensor([[2., 3.],[4., 5.]]) torch.Size([2, 2]) torch.float321.2.2 torch.IntTensor
用于生成数据类型为整型的 Tensor传递给 torch.IntTensor 的参数可以是一个列表也可以是一个维度值。
a torch.IntTensor(2, 3)
print(a)tensor([[1726508320, 32745, 407958368],[ 22062, 1953384789, 1701869908]], dtypetorch.int32)b torch.IntTensor([[2, 3], [4, 5]])
print(b, b.dtype)tensor([[2, 3],[4, 5]], dtypetorch.int32) torch.int321.2.3 torch.rand
用于生成数据类型为浮点型且维度指定的随机 Tensor和在 Numpy 中使用 numpy.rand 生成随机数的方法类似随机生成的浮点数据在 0~1区间均匀分布。
a torch.rand(2, 3)
print(a, a.dtype)tensor([[0.8055, 0.3392, 0.5802],[0.3333, 0.7156, 0.3415]]) torch.float321.2.4 torch.randn
用于生成数据类型为浮点型且维度指定的随机 Tensor和在 Numpy 中使用 numpy.randn生成随机数的方法类似随机生成的浮点数的取值满足均值为0方差为1的正态分布。
a torch.randn(2, 3)
print(a, a.dtype)tensor([[ 0.4737, 0.3686, -1.1102],[ 0.9147, -0.3446, -0.7511]]) torch.float321.2.5 torch.range
用于生成数据类型为浮点型且自定义其实范围和结束范围的 Tensor所以传递给 torch.range 的参数有三个分别是范围的起始值范围的结束值和步长其中步长用于指定从起始值到结束值的每步的数据间隔。
a torch.range(2, 8, 3)
print(a, a.dtype)tensor([2., 5., 8.]) torch.float32/opt/conda/lib/python3.7/site-packages/ipykernel_launcher.py:2: UserWarning: torch.range is deprecated in favor of torch.arange and will be removed in 0.5. Note that arange generates values in [start; end), not [start; end].1.2.6 torch.zeros
用于生成数据类型为浮点型且维度指定的 Tensor不过这个浮点型的 Tensor 中的元素值全部为0
a torch.zeros(3, 4)
print(a, a.dtype)tensor([[0., 0., 0., 0.],[0., 0., 0., 0.],[0., 0., 0., 0.]]) torch.float321.3 Tensor的运算
这里通常对 Tensor 数据类型的变量进行运算来组合一些简单或者复杂的算法常用的 Tensor 运算如下
1.3.1 torch.abs
将参数传递到 torch.abs 后返回输入参数的绝对值作为输出输出参数必须是一个 Tensor 数据类型的变量
a torch.randn(2, 3)
print(a)
b torch.abs(a)
print(b)tensor([[-1.5257, 0.1174, -0.2927],[ 0.4662, 0.7019, 0.2605]])
tensor([[1.5257, 0.1174, 0.2927],[0.4662, 0.7019, 0.2605]])1.3.2 torch.add
将参数传递到 torch.add 后返回输入参数的求和结果作为输出输入参数既可以全部是 Tensor 数据类型的变量也可以是一个 Tensor 数据类型的变量另一个是标量。
a torch.randn(2, 3)
print(a)b torch.randn(2, 3)
print(b)c torch.add(a, b)
print(c)d torch.randn(2, 3)
print(d)e torch.add(d, 10)
print(e)tensor([[-1.5090, -1.1659, -0.7795],[ 0.8453, -0.0334, 0.2251]])
tensor([[-1.5168, -1.2602, 0.8775],[ 1.8206, -0.0880, -1.1371]])
tensor([[-3.0258, -2.4261, 0.0980],[ 2.6659, -0.1213, -0.9120]])
tensor([[0.2818, 1.4852, 2.0287],[1.1209, 1.6720, 1.0154]])
tensor([[10.2818, 11.4852, 12.0287],[11.1209, 11.6720, 11.0154]])可以指定输出
result torch.empty(2, 3)
torch.add(a, b, outresult)
print(result)tensor([[-3.0258, -2.4261, 0.0980],[ 2.6659, -0.1213, -0.9120]])关于加法还有两种方式
第一种号第二种inplace
✨ 注PyTorch操作inplace版本都有后缀_, 例如x.copy_(y), x.t_()
print(ab)tensor([[-3.0258, -2.4261, 0.0980],[ 2.6659, -0.1213, -0.9120]])b.add_(a)
print(b)tensor([[-3.0258, -2.4261, 0.0980],[ 2.6659, -0.1213, -0.9120]])1.3.3 torch.clamp
对输入参数按照自定义的范围进行裁剪最后将参数裁剪的结果作为输出。所以输入参数一共有三个分别是需要进行裁剪的Tensor数据类型的变量、裁剪的上边界和裁剪的下边界
具体的裁剪过程是使用变量中的每个元素分别和裁剪的上边界及裁剪的下边界的值进行比较如果元素的值小于裁剪的下边界的值该元素就被重写成裁剪的下边界的值
同理如果元素的值大于裁剪的上边界的值该元素就被重写成裁剪的上边界的值。
a torch.randn(2, 3)
print(a)b torch.clamp(a, -0.1, 0.1)
print(b)tensor([[ 0.5965, 2.1073, -1.2866],[-0.1101, -1.6736, -2.2357]])
tensor([[ 0.1000, 0.1000, -0.1000],[-0.1000, -0.1000, -0.1000]])1.3.4 torch.div
将参数传递到 torch.div 后返回输入参数的求商结果作为输出同样参与运算的参数可以全部是 Tensor 数据类型的变量也可以是 Tensor 数据类型的变量和标量的组合。
a torch.randn(2,3)
print(a)b torch.randn(2,3)
print(b)c torch.div(a,b)
print(c)d torch.randn(2,3)
print(d)e torch.div(d,10)
print(e)tensor([[ 0.4518, 0.1334, 1.7579],[ 0.0349, -0.2346, 1.6790]])
tensor([[ 1.2516, -1.1198, 1.1351],[-0.6222, -0.6472, -0.0758]])
tensor([[ 0.3610, -0.1191, 1.5486],[ -0.0561, 0.3624, -22.1492]])
tensor([[ 0.2908, 0.0664, -1.4821],[ 0.4358, 0.3226, 1.0338]])
tensor([[ 0.0291, 0.0066, -0.1482],[ 0.0436, 0.0323, 0.1034]])1.3.5 torch.mul
将参数传递到 torch.mul 后返回输入参数求积的结果作为输出参与运算的参数可以全部是 Tensor 数据类型的变量也可以是 Tensor 数据类型的变量和标量的组合。
a torch.randn(2, 3)
print(a)b torch.randn(2, 3)
print(b)c torch.mul(a, b)
print(c)d torch.randn(2, 3)
print(d)e torch.mul(d, 10)
print(e)tensor([[ 0.5851, 0.2113, 0.6891],[ 1.1177, -0.0177, 1.5595]])
tensor([[ 0.9094, -0.0707, -0.3900],[ 0.2990, -0.9827, 0.7165]])
tensor([[ 0.5321, -0.0149, -0.2687],[ 0.3342, 0.0174, 1.1174]])
tensor([[-0.7012, 1.2348, 1.6156],[ 0.5412, 0.2345, -0.5753]])
tensor([[-7.0115, 12.3478, 16.1558],[ 5.4116, 2.3447, -5.7526]])1.3.6 torch.pow
将参数传递到 torch.pow 后返回输入参数的求幂结果作为输出参与运算的参数可以全部是 Tensor 数据类型的变量也可以是 Tensor 数据类型的变量和标量的组合。
a torch.randn(2, 3)
print(a)b torch.pow(a, 2)
print(b)tensor([[-0.9387, 1.0499, -1.6718],[-0.3190, -1.1677, -0.0666]])
tensor([[0.8812, 1.1024, 2.7948],[0.1018, 1.3635, 0.0044]])1.3.7 torch.mm
将参数传递到 torch.mm 后返回输入参数的求积结果作为输出不过这个求积的方式和之前的 torch.mul运算方式不太样
torch.mm 运用矩阵之间的乘法规则进行计算所以被传入的参数会被当作矩阵进行处理参数的维度自然也要满足矩阵乘法的前提条件
即前一个矩阵的行数必须和后一个矩阵的列数相等否则不能进行计算。
a torch.randn(2, 3)
print(a)b torch.randn(3, 2)
print(b)b torch.mm(a, b)
print(b)tensor([[ 0.1701, 0.9539, -0.3128],[-0.2466, 2.4600, -1.6023]])
tensor([[-1.0573, -1.0292],[-0.2707, 0.2992],[-1.0913, -3.1058]])
tensor([[-0.0967, 1.0818],[ 1.3436, 5.9664]])1.3.8 torch.mv
将参数传递到 torch.mv 后返回输入参数的求积结果作为输出torch.mv 运用矩阵与向量之间的乘法规则进行计算被传入的参数中的第1个参数代表矩阵第2个参数代表向量顺序不能颠倒。
a torch.randn(2, 3)
print(a)b torch.randn(3)
print(b)c torch.mv(a, b)
print(c)tensor([[ 1.7745, 0.8665, -0.5622],[-0.6072, 0.5540, -1.0647]])
tensor([ 0.0553, -0.5526, -1.0924])
tensor([0.2335, 0.8233])二、原书
2.1 数据操作
部分操作已经在前面提及
2.1.1 索引
索引出来的结果与原数据共享内存也即修改一个另一个会跟着修改。
x torch.randn(2, 4)
print(x)
y x[:, :3]
print(y)
y 1
print(y)
print(x[:, :3]) # 源tensor也被改了
print(x)tensor([[ 0.5706, 0.3683, 1.4869, 1.2791],[-0.1592, -1.7226, -1.1192, -0.9729]])
tensor([[ 0.5706, 0.3683, 1.4869],[-0.1592, -1.7226, -1.1192]])
tensor([[ 1.5706, 1.3683, 2.4869],[ 0.8408, -0.7226, -0.1192]])
tensor([[ 1.5706, 1.3683, 2.4869],[ 0.8408, -0.7226, -0.1192]])
tensor([[ 1.5706, 1.3683, 2.4869, 1.2791],[ 0.8408, -0.7226, -0.1192, -0.9729]])除了常用的索引选择数据之外PyTorch还提供了一些高级的选择函数:
函数功能index_select(input, dim, index)在指定维度dim上选取比如选取某些行、某些列masked_select(input, mask,outNone)根据布尔掩码 (boolean mask) 索引输入张量的 1D 张量nonzero(input)非0元素的下标gather(input, dim, index)根据index在dim维度上选取数据输出的size与index一样
index_select
index_select(input,dim,index
)参数
input索引的对象dim表示从第几维挑选数据类型为int值0表示按行索引1表示按列索引index表示从第一个参数维度中的哪个位置挑选数据类型为torch.Tensor类的实例
print(torch.index_select(x,0,torch.tensor([0, 1])))
print(torch.index_select(x,1,torch.tensor([0, 1])))tensor([[ 1.5706, 1.3683, 2.4869, 1.2791],[ 0.8408, -0.7226, -0.1192, -0.9729]])
tensor([[ 1.5706, 1.3683],[ 0.8408, -0.7226]])masked_select
masked_select(input,mask,out
)参数
input(Tensor) 需要进行索引操作的输入张量mask(BoolTensor) 要进行索引的布尔掩码out(Tensor, optional) 指定输出的张量。比如执行 torch.zeros([2, 2], out tensor_a)相当于执行 tensor_a torch.zeros([2, 2])
⚠️ 注意「 masked_select 函数最关键的参数就是布尔掩码 mask
传入 mask 参数的布尔张量通过 True 和 False (或 1 和 0) 来决定输入张量对应位置的元素是否保留
既然是一一对应的关系这就需要传入 mask 中的布尔张量和传入 input 中的输入张量形状要相同。」
mask x.ge(0.5)
print(mask)
print(torch.masked_select(x, mask))tensor([[ True, True, True, True],[ True, False, False, False]])
tensor([1.5706, 1.3683, 2.4869, 1.2791, 0.8408])print(x)
print(torch.nonzero(x))tensor([[ 1.5706, 1.3683, 2.4869, 1.2791],[ 0.8408, -0.7226, -0.1192, -0.9729]])
tensor([[0, 0],[0, 1],[0, 2],[0, 3],[1, 0],[1, 1],[1, 2],[1, 3]])gather
gather(input, dim,index
)参数
input (Tensor) – 需要进行索引操作的输入张量dim (int) – 表示从第几维挑选数据类型为int值index (LongTensor) – 要收集的元素的索引out (Tensor, optional) – 指定输出的张量。
print(torch.gather(x, dim1, indextorch.LongTensor([[0, 1],[0, 0]]))) # dim为1说明按列索引[0, 1]表示第一行的第0列和第1列就是1.5706和1.3683同理[0, 0]是0.8408和0.8408
print(torch.gather(x, dim0, indextorch.LongTensor([[0,1,1,0],[0,0,0,0]]))) # dim为0说明按行索引[0, 1, 1, 0]表示第0行第1行第1行第0行tensor([[1.5706, 1.3683],[0.8408, 0.8408]])
tensor([[ 1.5706, -0.7226, -0.1192, 1.2791],[ 1.5706, 1.3683, 2.4869, 1.2791]])2.1.2 改变形状
用 view() 来改变 Tensor 的形状
⚠️ 需要注意的是-1所指的维度可以根据其他维度的值推出来这个用法在很多地方都见过应该要记住
y x.view(8)
z x.view(-1, 2) # -1所指的维度可以根据其他维度的值推出来
print(x.size(), y.size(), z.size())torch.Size([2, 4]) torch.Size([8]) torch.Size([4, 2])view()返回的新 Tensor 与源 Tensor 虽然可能有不同的 size但是是共享 data 的也即更改其中的一个另外一个也会跟着改变。(顾名思义view 仅仅是改变了对这个张量的观察角度内部数据并未改变)
x 1
print(x)
print(y)tensor([[2.5706, 2.3683, 3.4869, 2.2791],[1.8408, 0.2774, 0.8808, 0.0271]])
tensor([2.5706, 2.3683, 3.4869, 2.2791, 1.8408, 0.2774, 0.8808, 0.0271])所以如果我们想返回一个真正新的副本即不共享data内存该怎么办呢
Pytorch还提供了一个 reshape() 可以改变形状但是此函数并不能保证返回的是其拷贝所以不推荐使用。推荐先用 clone 创造一个副本然后再使用 view。
x_cp x.clone().view(8)
x - 1
print(x)
print(x_cp)tensor([[ 1.5706, 1.3683, 2.4869, 1.2791],[ 0.8408, -0.7226, -0.1192, -0.9729]])
tensor([2.5706, 2.3683, 3.4869, 2.2791, 1.8408, 0.2774, 0.8808, 0.0271])✨ 使用 clone 还有一个好处是会被记录在计算图中即梯度回传到副本时也会传到源 Tensor
另外一个常用的函数就是 item(), 它可以将一个标量 Tensor 转换成一个Python number
x torch.randn(1)
print(x)
print(x.item())tensor([1.0600])
1.0599588155746462.2 线性代数
另外PyTorch还支持一些线性函数这里提一下免得用起来的时候自己造轮子具体用法参考官方文档。如下表所示
函数功能trace对角线元素之和(矩阵的迹)diag对角线元素triu/tril矩阵的上三角/下三角可指定偏移量mm/bmm矩阵乘法batch的矩阵乘法addmm/addbmm/addmv/addr/baddbmm…矩阵运算t转置dot/cross内积/外积inverse求逆矩阵svd奇异值分解
2.3 广播机制
当对两个形状不同的 Tensor 按元素运算时可能会触发广播broadcasting机制先适当复制元素使这两个 Tensor 形状相同后再按元素运算。
x torch.arange(1, 3).view(1, 2)
print(x)
y torch.arange(1, 4).view(3, 1)
print(y)
print(x y)tensor([[1, 2]])
tensor([[1],[2],[3]])
tensor([[2, 3],[3, 4],[4, 5]])由于 x 和 y 分别是1行2列和3行1列的矩阵如果要计算 x y那么 x 中第一行的2个元素被广播复制到了第二行和第三行
而 y 中第一列的3个元素被广播复制到了第二列。如此就可以对2个3行2列的矩阵按元素相加。
2.4 运算内存开销
前面说了索引操作是不会开辟新内存的而像y x y 这样的运算是会新开内存的然后将y指向新内存。
为了演示这一点我们可以使用Python自带的 id 函数如果两个实例的ID一致那么它们所对应的内存地址相同反之则不同。
x torch.tensor([1, 2])
y torch.tensor([3, 4])
id_before id(y)
y y x
print(id(y) id_before) # False False如果想指定结果到原来的 y 的内存我们可以使用前面介绍的索引来进行替换操作。在下面的例子中我们把x y的结果通过 [:] 写进 y 对应的内存中。
x torch.tensor([1, 2])
y torch.tensor([3, 4])
id_before id(y)
y[:] y x
print(id(y) id_before) # TrueTrue我们还可以使用运算符全名函数中的 out 参数或者自加运算符 (也即 add_() )达到上述效果例如 torch.add(x, y, outy)和 y x(y.add_(x))。
x torch.tensor([1, 2])
y torch.tensor([3, 4])
id_before id(y)
torch.add(x, y, outy) # y x, y.add_(x)
print(id(y) id_before) # TrueTrue✨ 注虽然 view 返回的 Tensor 与源 Tensor 是共享data的但是依然是一个新的 Tensor因为 Tensor 除了包含data外还有一些其他属性二者id内存地址并不一致。
2.5 Tensor和NumPy相互转换
我们很容易用 numpy() 和 from_numpy() 将 Tensor 和 NumPy 中的数组相互转换。
但是需要注意的一点是 这两个函数所产生的的 Tensor 和 NumPy 中的数组共享相同的内存所以他们之间的转换很快改变其中一个时另一个也会改变
✨ 还有一个常用的将NumPy中的array转换成Tensor的方法就是torch.tensor(), 需要注意的是此方法总是会进行数据拷贝就会消耗更多的时间和空间所以返回的Tensor和原来的数据不再共享内存。
Tensor转NumPy
使用 numpy()将 Tensor 转换成 NumPy 数组:
a torch.ones(5)
b a.numpy()
print(a, b)a 1
print(a, b)
b 1
print(a, b)tensor([1., 1., 1., 1., 1.]) [1. 1. 1. 1. 1.]
tensor([2., 2., 2., 2., 2.]) [2. 2. 2. 2. 2.]
tensor([3., 3., 3., 3., 3.]) [3. 3. 3. 3. 3.]NumPy数组转Tensor
使用from_numpy() 将 NumPy 数组转换成 Tensor :
import numpy as np
a np.ones(5)
b torch.from_numpy(a)
print(a, b)a 1
print(a, b)
b 1
print(a, b)[1. 1. 1. 1. 1.] tensor([1., 1., 1., 1., 1.], dtypetorch.float64)
[2. 2. 2. 2. 2.] tensor([2., 2., 2., 2., 2.], dtypetorch.float64)
[3. 3. 3. 3. 3.] tensor([3., 3., 3., 3., 3.], dtypetorch.float64)所有在CPU上的 Tensor除了 CharTensor都支持与 NumPy 数组相互转换。
此外上面提到还有一个常用的方法就是直接用 torch.tensor()将 NumPy 数组转换成 Tensor
需要注意的是该方法总是会进行数据拷贝返回的 Tensor 和原来的数据不再共享内存。
c torch.tensor(a)
a 1
print(a, c)[4. 4. 4. 4. 4.] tensor([3., 3., 3., 3., 3.], dtypetorch.float64)2.2.6 Tensor on GPU
用方法 to() 可以将 Tensor 在CPU和GPU需要硬件支持之间相互移动。
# 以下代码只有在PyTorch GPU版本上才会执行
if torch.cuda.is_available():device torch.device(cuda) # GPUy torch.ones_like(x, devicedevice) # 直接创建一个在GPU上的Tensorx x.to(device) # 等价于 .to(cuda)z x yprint(z)print(z.to(cpu, torch.double)) # to()还可以同时更改数据类型
