Python PyTorch expires用法及代码示例

本文简要介绍python语言中 torch.distributed.elastic.timer.expires 的用法。

用法:

torch.distributed.elastic.timer.expires(after, scope=None, client=None)

获取一个倒数计时器，该计时器在 after 秒后到期，除非它包装的 code-block 在时间范围内完成。当计时器到期时，这个工人就有资格被收割。 “reaped” 的确切含义取决于客户端实现。在大多数情况下，收割意味着终止工作进程。请注意，不能保证工人完全在 time.now() + after 收获，而是工人是被收获的 “eligible” 并且客户端与之交谈的 TimerServer 将最终决定何时以及如何收获工人过期的计时器。

用法：

torch.distributed.elastic.timer.configure(LocalTimerClient())
with expires(after=10):
    torch.distributed.all_reduce(...)