Python PyTorch FunctionCtx.mark_dirty用法及代码示例

本文简要介绍python语言中 torch.autograd.function.FunctionCtx.mark_dirty 的用法。

用法:

FunctionCtx.mark_dirty(*args)

将给定张量标记为在就地操作中修改。

这应该最多调用一次，只能从内部调用 forward() 方法，所有参数都应该是输入。

每个在调用 forward() 时就地修改过的张量都应该提供给这个函数，以确保我们检查的正确性。函数是在修改之前还是之后调用都没有关系。

例子：：

>>> class Inplace(Function):
>>>     @staticmethod
>>>     def forward(ctx, x):
>>>         x_npy = x.numpy() # x_npy shares storage with x
>>>         x_npy += 1
>>>         ctx.mark_dirty(x)
>>>         return x
>>>
>>>     @staticmethod
>>>     @once_differentiable
>>>     def backward(ctx, grad_output):
>>>         return grad_output
>>>
>>> a = torch.tensor(1., requires_grad=True, dtype=torch.double).clone()
>>> b = a * a
>>> Inplace.apply(a)  # This would lead to wrong gradients!
>>>                   # but the engine would not know unless we mark_dirty
>>> b.backward() # RuntimeError: one of the variables needed for gradient
>>>              # computation has been modified by an inplace operation