Python PyTorch noop_hook用法及代码示例

本文简要介绍python语言中 torch.distributed.algorithms.ddp_comm_hooks.debugging_hooks.noop_hook 的用法。

用法:

torch.distributed.algorithms.ddp_comm_hooks.debugging_hooks.noop_hook(_, bucket)

这个 DDP 通信钩子返回包装输入的未来，因此它是一个不会产生任何通信开销的 noop。

这个钩子应该只用于 allreduce 优化的余量分析，而不是正常的梯度同步。例如，如果在注册此钩子后只能观察到不到 10% 的训练时间加速，则通常意味着 allreduce 不是这种情况下的性能瓶颈。如果无法轻松检索 GPU 跟踪或跟踪分析复杂的某些因子(例如 allreduce 和计算之间的重叠或跨秩的不同步)，这种仪器可能特别有用。

例子：

>>> ddp_model.register_comm_hook(None, noop_hook)