Python PyTorch criteo_kaggle用法及代碼示例

本文簡要介紹python語言中 torchrec.datasets.criteo.criteo_kaggle 的用法。

用法:

torchrec.datasets.criteo.criteo_kaggle(path: str, *, row_mapper: typing.Optional[typing.Callable[[typing.List[str]], typing.Any]] = <function _default_row_mapper>, **open_kw) → torch.utils.data.dataset.IterDataPipe

參數：

• root(str) -訓練或測試數據集文件的本地路徑。

• row_mapper(可選的[可調用[[List[str]],任何]]) - 應用於每個分割 TSV 線的函數。

• open_kw-傳遞給 iopath.common.file_io.PathManager.open 底層調用的選項。

Kaggle/Criteo Display Advertising 數據集

例子：

train_datapipe = criteo_kaggle(
    "/home/datasets/criteo_kaggle/train.txt",
)
example = next(iter(train_datapipe))
test_datapipe = criteo_kaggle(
    "/home/datasets/criteo_kaggle/test.txt",
)
example = next(iter(test_datapipe))