Python PyTorch verify_skippables用法及代碼示例

本文簡要介紹python語言中 torch.distributed.pipeline.sync.skip.skippable.verify_skippables 的用法。

用法:

torch.distributed.pipeline.sync.skip.skippable.verify_skippables(module)

拋出：

TypeError - 一對或多對 stash 和 pop 不匹配。

驗證底層可跳過模塊是否滿足完整性。

每個跳躍張量必須隻有一對 stash 和 pop 。如果有一對或多對不匹配，它將引發 TypeError 和詳細消息。

以下是一些失敗案例。 verify_skippables() 將報告以下情況的失敗：

# Layer1 stashes "1to3".
# Layer3 pops "1to3".

nn.Sequential(Layer1(), Layer2())
#               └──── ?

nn.Sequential(Layer2(), Layer3())
#                   ? ────┘

nn.Sequential(Layer1(), Layer2(), Layer3(), Layer3())
#               └───────────────────┘       ^^^^^^

nn.Sequential(Layer1(), Layer1(), Layer2(), Layer3())
#             ^^^^^^      └───────────────────┘

要為多個跳過張量使用相同的名稱，它們必須由不同的命名空間隔離。請參閱isolate()。