Python PyTorch Tensor.requires_grad_用法及代碼示例

本文簡要介紹python語言中 torch.Tensor.requires_grad_ 的用法。

用法:

Tensor.requires_grad_(requires_grad=True) → Tensor

參數：

requires_grad(bool) -如果 autograd 應該記錄在這個張量上的操作。默認值：True。

更改 autograd 是否應記錄此張量上的操作：就地設置此張量的 requires_grad 屬性。返回此張量。

requires_grad_() 的主要用例是告訴 autograd 開始記錄張量 tensor 上的操作。如果 tensor 具有 requires_grad=False (因為它是通過 DataLoader 獲取的，或者需要預處理或初始化)，tensor.requires_grad_() 會創建它，以便 autograd 將開始記錄 tensor 上的操作。

例子：

>>> # Let's say we want to preprocess some saved weights and use
>>> # the result as new weights.
>>> saved_weights = [0.1, 0.2, 0.3, 0.25]
>>> loaded_weights = torch.tensor(saved_weights)
>>> weights = preprocess(loaded_weights)  # some function
>>> weights
tensor([-0.5503,  0.4926, -2.1158, -0.8303])

>>> # Now, start to record operations done to weights
>>> weights.requires_grad_()
>>> out = weights.pow(2).sum()
>>> out.backward()
>>> weights.grad
tensor([-1.1007,  0.9853, -4.2316, -1.6606])