Python PyTorch ParallelReadConcat用法及代码示例

本文简要介绍python语言中 torchrec.datasets.utils.ParallelReadConcat 的用法。

用法:

class torchrec.datasets.utils.ParallelReadConcat(*datapipes: torch.utils.data.dataset.IterDataPipe, dp_selector: typing.Callable[[typing.Sequence[torch.utils.data.dataset.IterDataPipe]], typing.Sequence[torch.utils.data.dataset.IterDataPipe]] = <function _default_dp_selector>)

基础：torch.utils.data.dataset.IterDataPipe

ParallelReadConcat 。

可迭代 DataPipe 连接多个可迭代 DataPipe。与 DataLoader 一起使用时，将数据管道的子集分配给每个 DataLoader 工作线程以允许并行读取。 :param datapipes: IterDataPipe 要读取的实例。 :param dp_selector：每个DataLoader工作人员将使用该函数来确定要读取的数据管道的子集：param：

例子：

datapipes = [
    criteo_terabyte(
        (f"/home/local/datasets/criteo/shard_{idx}.tsv",),
    )
    .batch(100)
    .collate()
    for idx in range(4)
]
dataloader = DataLoader(
    ParallelReadConcat(*datapipes), num_workers=4, batch_size=None
)