Python PyTorch UnZipper用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.UnZipper 的用法。

用法:

class torchdata.datapipes.iter.UnZipper(source_datapipe: IterDataPipe[Sequence[torchdata.datapipes.iter.util.unzipper.T]], sequence_length: int, buffer_size: int = 1000, columns_to_skip: Optional[Sequence[int]] = None)

参数：

• source_datapipe-具有数据序列的可迭代 DataPipe

• sequence_length-source_datapipe 中序列的长度。所有元素都应具有相同的长度。

• buffer_size-这限制了领先的子级 DataPipe 相对于最慢的子级 DataPipe 可以读取多远。使用 -1 表示无限缓冲区。

• columns_to_skip-DataPipe 应跳过的可选列索引(每个索引应为从 0 到 sequence_length - 1 的整数)

接收 DataPipe 序列，解压每个序列，并根据元素在序列中的位置返回单独的 DataPipes 中的元素。生成的实例数等于序列长度减去要跳过的列数。

注意

DataPipe 中的每个序列应具有相同的长度，由输入参数 sequence_length 指定。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> source_dp = IterableWrapper([(i, i + 10, i + 20) for i in range(3)])
>>> dp1, dp2, dp3 = source_dp.unzip(sequence_length=3)
>>> list(dp1)
[0, 1, 2]
>>> list(dp2)
[10, 11, 12]
>>> list(dp3)
[20, 21, 22]