Python PyTorch no_grad用法及代碼示例

本文簡要介紹python語言中 torch.no_grad 的用法。

用法:

class torch.no_grad

Context-manager 禁用梯度計算。

當您確定不會調用 Tensor.backward() 時，禁用梯度計算對推理很有用。它將減少原本會有 requires_grad=True 的計算的內存消耗。

在此模式下，即使輸入具有 requires_grad=True ，每次計算的結果都將具有 requires_grad=False 。

這個上下文管理器是線程本地的；它不會影響其他線程中的計算。

也起到裝飾器的作用。 (確保用括號實例化。)

注意

No-grad 是可以在本地啟用或禁用梯度的幾種機製之一，請參閱本地禁用梯度計算以獲取有關它們如何比較的更多信息。

例子：

>>> x = torch.tensor([1], requires_grad=True)
>>> with torch.no_grad():
...   y = x * 2
>>> y.requires_grad
False
>>> @torch.no_grad()
... def doubler(x):
...     return x * 2
>>> z = doubler(x)
>>> z.requires_grad
False