本单位二级网站建设管理制度,如何加强精神文明网站建设内容,宁波网络推广系统,小说阅读网站建设Autograd#xff1a;自动求导
PyTorch中#xff0c;所有神经网络的核心是 autograd 包。先简单介绍一下这个包#xff0c;然后训练我们的第一个的神经网络。
autograd 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run#xff09;的框架自动求导
PyTorch中所有神经网络的核心是 autograd 包。先简单介绍一下这个包然后训练我们的第一个的神经网络。
autograd 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run的框架这意味着反向传播是根据代码如何运行来决定的并且每次迭代可以是不同的.
让我们用一些简单的例子来看看吧。
张量
torch.Tensor 是这个包的核心类。如果设置它的属性 .requires_grad 为 True那么autograd将会追踪对于该张量的所有操作。当完成计算后可以通过调用 .backward()来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性.
要阻止一个张量被跟踪历史可以调用 .detach() 方法将其与计算历史分离并阻止它未来的计算记录被跟踪。
为了防止跟踪历史记录(和使用内存可以将代码块包装在 with torch.no_grad(): 中。在评估模型时特别有用因为模型可能具有 requires_grad True 的可训练的参数但是我们不需要在此过程中对他们进行梯度计算。
还有一个类对于autograd的实现非常重要Function。
Tensor 和 Function 互相连接生成了一个无圈图(acyclic graph)它编码了完整的计算历史。每个张量都有一个 .grad_fn 属性该属性引用了创建 Tensor 自身的Function(除非这个张量是用户手动创建的即这个张量的 grad_fn 是 None )。
如果需要计算导数可以在 Tensor 上调用 .backward()。如果 Tensor 是一个标量(即它包含一个元素的数据则不需要为 backward() 指定任何参数但是如果它有更多的元素则需要指定一个 gradient 参数该参数是形状匹配的张量。
import torch创建一个张量并设置requires_gradTrue用来追踪其计算历史
x torch.ones(2, 2, requires_gradTrue)
print(x)输出
tensor([[1., 1.],[1., 1.]], requires_gradTrue)对这个张量做一次运算
y x 2
print(y)输出
tensor([[3., 3.],[3., 3.]], grad_fnAddBackward0)y是计算的结果所以它有grad_fn属性。
print(y.grad_fn)输出
AddBackward0 object at 0x7f1b248453c8对y进行更多操作
z y * y * 3
out z.mean()print(z, out)输出
tensor([[27., 27.],[27., 27.]], grad_fnMulBackward0) tensor(27., grad_fnMeanBackward0).requires_grad_(...) 原地改变了现有张量的 requires_grad 标志。如果没有指定的话默认输入的这个标志是 False。
a torch.randn(2, 2)
a ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b (a * a).sum()
print(b.grad_fn)输出
False
True
SumBackward0 object at 0x7f1b24845f98梯度
现在开始进行反向传播因为 out 是一个标量因此 out.backward() 和 out.backward(torch.tensor(1.)) 等价。
out.backward()输出导数 d ( o u t ) d x \frac{d(out)}{dx} dxd(out)
print(x.grad)输出
tensor([[4.5000, 4.5000],[4.5000, 4.5000]])我们的得到的是一个数取值全部为4.5的矩阵。
让我们来推导 out 在x上的梯度张量 o。
可以得到 o 1 4 ∑ i z i o \frac{1}{4}\sum_i z_i o41i∑zi z i 3 ( x i 2 ) 2 z_i 3(x_i2)^2 zi3(xi2)2 和 z i ∣ x i 1 27 z_i\bigr\rvert_{x_i1} 27 zi xi127 因此, ∂ o ∂ x i 3 2 ( x i 2 ) \frac{\partial o}{\partial x_i} \frac{3}{2}(x_i2) ∂xi∂o23(xi2)因而 ∂ o ∂ x i ∣ x i 1 9 2 4.5 \frac{\partial o}{\partial x_i}\bigr\rvert_{x_i1} \frac{9}{2} 4.5 ∂xi∂o xi1294.5。
数学上若有向量值函数 y ⃗ f ( x ⃗ ) \vec{y}f(\vec{x}) y f(x )那么 y ⃗ \vec{y} y 相对于 x ⃗ \vec{x} x 的梯度是一个雅可比矩阵 J ( ∂ y 1 ∂ x 1 ⋯ ∂ y 1 ∂ x n ⋮ ⋱ ⋮ ∂ y m ∂ x 1 ⋯ ∂ y m ∂ x n ) J\left(\begin{array}{ccc} \frac{\partial y_{1}}{\partial x_{1}} \cdots \frac{\partial y_{1}}{\partial x_{n}}\\ \vdots \ddots \vdots\\ \frac{\partial y_{m}}{\partial x_{1}} \cdots \frac{\partial y_{m}}{\partial x_{n}} \end{array}\right) J ∂x1∂y1⋮∂x1∂ym⋯⋱⋯∂xn∂y1⋮∂xn∂ym
通常来说torch.autograd 是计算雅可比向量积的一个“引擎”。也就是说给定任意向量 v ( v 1 v 2 ⋯ v m ) T v\left(\begin{array}{cccc} v_{1} v_{2} \cdots v_{m}\end{array}\right)^{T} v(v1v2⋯vm)T计算乘积 v T ⋅ J v^{T}\cdot J vT⋅J。如果 v v v 恰好是一个标量函数 l g ( y ⃗ ) lg\left(\vec{y}\right) lg(y ) 的导数即 v ( ∂ l ∂ y 1 ⋯ ∂ l ∂ y m ) T v\left(\begin{array}{ccc}\frac{\partial l}{\partial y_{1}} \cdots \frac{\partial l}{\partial y_{m}}\end{array}\right)^{T} v(∂y1∂l⋯∂ym∂l)T那么根据链式法则雅可比向量积应该是 l l l 对 x ⃗ \vec{x} x 的导数 J T ⋅ v ( ∂ y 1 ∂ x 1 ⋯ ∂ y m ∂ x 1 ⋮ ⋱ ⋮ ∂ y 1 ∂ x n ⋯ ∂ y m ∂ x n ) ( ∂ l ∂ y 1 ⋮ ∂ l ∂ y m ) ( ∂ l ∂ x 1 ⋮ ∂ l ∂ x n ) J^{T}\cdot v\left(\begin{array}{ccc} \frac{\partial y_{1}}{\partial x_{1}} \cdots \frac{\partial y_{m}}{\partial x_{1}}\\ \vdots \ddots \vdots\\ \frac{\partial y_{1}}{\partial x_{n}} \cdots \frac{\partial y_{m}}{\partial x_{n}} \end{array}\right)\left(\begin{array}{c} \frac{\partial l}{\partial y_{1}}\\ \vdots\\ \frac{\partial l}{\partial y_{m}} \end{array}\right)\left(\begin{array}{c} \frac{\partial l}{\partial x_{1}}\\ \vdots\\ \frac{\partial l}{\partial x_{n}} \end{array}\right) JT⋅v ∂x1∂y1⋮∂xn∂y1⋯⋱⋯∂x1∂ym⋮∂xn∂ym ∂y1∂l⋮∂ym∂l ∂x1∂l⋮∂xn∂l
(注意行向量的 v T ⋅ J v^{T}\cdot J vT⋅J也可以被视作列向量的 J T ⋅ v J^{T}\cdot v JT⋅v)
雅可比向量积的这一特性使得将外部梯度输入到具有非标量输出的模型中变得非常方便。
现在我们来看一个雅可比向量积vector-Jacobian product的例子:
x torch.randn(3, requires_gradTrue)y x * 2
while y.data.norm() 1000:y y * 2print(y)输出
tensor([-278.6740, 935.4016, 439.6572], grad_fnMulBackward0)在这种情况下y 不再是标量。torch.autograd 不能直接计算完整的雅可比矩阵但是如果我们只想要雅可比向量积只需将这个向量作为参数传给 backward
v torch.tensor([0.1, 1.0, 0.0001], dtypetorch.float)
y.backward(v)print(x.grad)输出
tensor([4.0960e02, 4.0960e03, 4.0960e-01])也可以通过将代码块包装在 with torch.no_grad(): 中来阻止autograd跟踪 .requires_gradTrue 的张量的历史记录。
print(x.requires_grad)
print((x ** 2).requires_grad)with torch.no_grad():print((x ** 2).requires_grad)输出
True
True
False
