Python PyTorch Forker用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.Forker 的用法。

用法:

class torchdata.datapipes.iter.Forker(datapipe: IterDataPipe, num_instances: int, buffer_size: int = 1000)

參數：

• datapipe-正在複製可迭代DataPipe

• num_instances-要創建的數據管道實例數

• buffer_size-這限製了領先的子級 DataPipe 相對於最慢的子級 DataPipe 可以讀取多遠。默認為 1000 。使用-1作為無限緩衝區。

創建同一 Iterable DataPipe 的多個實例(函數名稱：fork )。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> source_dp = IterableWrapper(range(5))
>>> dp1, dp2 = source_dp.fork(num_instances=2)
>>> list(dp1)
[0, 1, 2, 3, 4]
>>> list(dp2)
[0, 1, 2, 3, 4]