Python PyTorch verify_skippables用法及代码示例

本文简要介绍python语言中 torch.distributed.pipeline.sync.skip.skippable.verify_skippables 的用法。

用法:

torch.distributed.pipeline.sync.skip.skippable.verify_skippables(module)

抛出：

TypeError - 一对或多对 stash 和 pop 不匹配。

验证底层可跳过模块是否满足完整性。

每个跳跃张量必须只有一对 stash 和 pop 。如果有一对或多对不匹配，它将引发 TypeError 和详细消息。

以下是一些失败案例。 verify_skippables() 将报告以下情况的失败：

# Layer1 stashes "1to3".
# Layer3 pops "1to3".

nn.Sequential(Layer1(), Layer2())
#               └──── ?

nn.Sequential(Layer2(), Layer3())
#                   ? ────┘

nn.Sequential(Layer1(), Layer2(), Layer3(), Layer3())
#               └───────────────────┘       ^^^^^^

nn.Sequential(Layer1(), Layer1(), Layer2(), Layer3())
#             ^^^^^^      └───────────────────┘

要为多个跳过张量使用相同的名称，它们必须由不同的命名空间隔离。请参阅isolate()。