Python PyTorch UnZipper用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.UnZipper 的用法。

用法:

class torchdata.datapipes.iter.UnZipper(source_datapipe: IterDataPipe[Sequence[torchdata.datapipes.iter.util.unzipper.T]], sequence_length: int, buffer_size: int = 1000, columns_to_skip: Optional[Sequence[int]] = None)

參數：

• source_datapipe-具有數據序列的可迭代 DataPipe

• sequence_length-source_datapipe 中序列的長度。所有元素都應具有相同的長度。

• buffer_size-這限製了領先的子級 DataPipe 相對於最慢的子級 DataPipe 可以讀取多遠。使用 -1 表示無限緩衝區。

• columns_to_skip-DataPipe 應跳過的可選列索引(每個索引應為從 0 到 sequence_length - 1 的整數)

接收 DataPipe 序列，解壓每個序列，並根據元素在序列中的位置返回單獨的 DataPipes 中的元素。生成的實例數等於序列長度減去要跳過的列數。

注意

DataPipe 中的每個序列應具有相同的長度，由輸入參數 sequence_length 指定。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> source_dp = IterableWrapper([(i, i + 10, i + 20) for i in range(3)])
>>> dp1, dp2, dp3 = source_dp.unzip(sequence_length=3)
>>> list(dp1)
[0, 1, 2]
>>> list(dp2)
[10, 11, 12]
>>> list(dp3)
[20, 21, 22]