Python PyTorch CriteoIterDataPipe用法及代碼示例

本文簡要介紹python語言中 torchrec.datasets.criteo.CriteoIterDataPipe 的用法。

用法:

class torchrec.datasets.criteo.CriteoIterDataPipe(paths: typing.Iterable[str], *, row_mapper: typing.Optional[typing.Callable[[typing.List[str]], typing.Any]] = <function _default_row_mapper>, **open_kw)

參數：

• paths(可迭代[str]) -構成 Criteo 數據集的 TSV 文件的本地路徑。

• row_mapper(可選的[可調用[[List[str]],任何]]) - 應用於每個分割 TSV 線的函數。

• open_kw-傳遞給 iopath.common.file_io.PathManager.open 底層調用的選項。

基礎：torch.utils.data.dataset.IterDataPipe

IterDataPipe 可用於傳輸 Criteo 1TB 點擊日誌數據集 (https://ailab.criteo.com/download-criteo-1tb-click-logs-dataset/)或 Kaggle/Criteo 顯示廣告數據集(https://www.kaggle.com/c/criteo-display-ad-challenge/)來自源 TSV 文件。

例子：

datapipe = CriteoIterDataPipe(
    ("/home/datasets/criteo/day_0.tsv", "/home/datasets/criteo/day_1.tsv")
)
datapipe = dp.iter.Batcher(datapipe, 100)
datapipe = dp.iter.Collator(datapipe)
batch = next(iter(datapipe))