Python PyTorch noop_hook用法及代碼示例

本文簡要介紹python語言中 torch.distributed.algorithms.ddp_comm_hooks.debugging_hooks.noop_hook 的用法。

用法:

torch.distributed.algorithms.ddp_comm_hooks.debugging_hooks.noop_hook(_, bucket)

這個 DDP 通信鉤子返回包裝輸入的未來，因此它是一個不會產生任何通信開銷的 noop。

這個鉤子應該隻用於 allreduce 優化的餘量分析，而不是正常的梯度同步。例如，如果在注冊此鉤子後隻能觀察到不到 10% 的訓練時間加速，則通常意味著 allreduce 不是這種情況下的性能瓶頸。如果無法輕鬆檢索 GPU 跟蹤或跟蹤分析複雜的某些因子(例如 allreduce 和計算之間的重疊或跨秩的不同步)，這種儀器可能特別有用。

例子：

>>> ddp_model.register_comm_hook(None, noop_hook)