Python PyTorch Forker用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.Forker 的用法。

用法:

class torchdata.datapipes.iter.Forker(datapipe: IterDataPipe, num_instances: int, buffer_size: int = 1000)

参数：

• datapipe-正在复制可迭代DataPipe

• num_instances-要创建的数据管道实例数

• buffer_size-这限制了领先的子级 DataPipe 相对于最慢的子级 DataPipe 可以读取多远。默认为 1000 。使用-1作为无限缓冲区。

创建同一 Iterable DataPipe 的多个实例(函数名称：fork )。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> source_dp = IterableWrapper(range(5))
>>> dp1, dp2 = source_dp.fork(num_instances=2)
>>> list(dp1)
[0, 1, 2, 3, 4]
>>> list(dp2)
[0, 1, 2, 3, 4]