Python PyTorch criteo_terabyte用法及代码示例

本文简要介绍python语言中 torchrec.datasets.criteo.criteo_terabyte 的用法。

用法:

torchrec.datasets.criteo.criteo_terabyte(paths: typing.Iterable[str], *, row_mapper: typing.Optional[typing.Callable[[typing.List[str]], typing.Any]] = <function _default_row_mapper>, **open_kw) → torch.utils.data.dataset.IterDataPipe

参数：

• paths(可迭代[str]) -构成 Criteo 1TB 数据集的 TSV 文件的本地路径。

• row_mapper(可选的[可调用[[List[str]],任何]]) - 应用于每个分割 TSV 线的函数。

• open_kw-传递给 iopath.common.file_io.PathManager.open 底层调用的选项。

Criteo 1TB Click Logs 数据集

例子：

datapipe = criteo_terabyte(
    ("/home/datasets/criteo/day_0.tsv", "/home/datasets/criteo/day_1.tsv")
)
datapipe = dp.iter.Batcher(datapipe, 100)
datapipe = dp.iter.Collator(datapipe)
batch = next(iter(datapipe))