Python PyTorch expires用法及代碼示例

本文簡要介紹python語言中 torch.distributed.elastic.timer.expires 的用法。

用法:

torch.distributed.elastic.timer.expires(after, scope=None, client=None)

獲取一個倒數計時器，該計時器在 after 秒後到期，除非它包裝的 code-block 在時間範圍內完成。當計時器到期時，這個工人就有資格被收割。 “reaped” 的確切含義取決於客戶端實現。在大多數情況下，收割意味著終止工作進程。請注意，不能保證工人完全在 time.now() + after 收獲，而是工人是被收獲的 “eligible” 並且客戶端與之交談的 TimerServer 將最終決定何時以及如何收獲工人過期的計時器。

用法：

torch.distributed.elastic.timer.configure(LocalTimerClient())
with expires(after=10):
    torch.distributed.all_reduce(...)