Python PyTorch Tensor.requires_grad_用法及代码示例

本文简要介绍python语言中 torch.Tensor.requires_grad_ 的用法。

用法:

Tensor.requires_grad_(requires_grad=True) → Tensor

参数：

requires_grad(bool) -如果 autograd 应该记录在这个张量上的操作。默认值：True。

更改 autograd 是否应记录此张量上的操作：就地设置此张量的 requires_grad 属性。返回此张量。

requires_grad_() 的主要用例是告诉 autograd 开始记录张量 tensor 上的操作。如果 tensor 具有 requires_grad=False (因为它是通过 DataLoader 获取的，或者需要预处理或初始化)，tensor.requires_grad_() 会创建它，以便 autograd 将开始记录 tensor 上的操作。

例子：

>>> # Let's say we want to preprocess some saved weights and use
>>> # the result as new weights.
>>> saved_weights = [0.1, 0.2, 0.3, 0.25]
>>> loaded_weights = torch.tensor(saved_weights)
>>> weights = preprocess(loaded_weights)  # some function
>>> weights
tensor([-0.5503,  0.4926, -2.1158, -0.8303])

>>> # Now, start to record operations done to weights
>>> weights.requires_grad_()
>>> out = weights.pow(2).sum()
>>> out.backward()
>>> weights.grad
tensor([-1.1007,  0.9853, -4.2316, -1.6606])