Python PyTorch rand_split_train_val用法及代碼示例

本文簡要介紹python語言中 torchrec.datasets.utils.rand_split_train_val 的用法。

用法:

torchrec.datasets.utils.rand_split_train_val(datapipe: torch.utils.data.dataset.IterDataPipe, train_perc: float, random_seed: int = 0) → Tuple[torch.utils.data.dataset.IterDataPipe, torch.utils.data.dataset.IterDataPipe]

參數：

• datapipe(IterDataPipe) -要拆分的數據管道。

• train_perc(浮點數) -範圍 (0.0, 1.0) 中的值，指定要包含在訓練拆分中的數據管道樣本的目標比例。請注意，不能保證實際比例與train_perc 完全匹配。

• random_seed(int) -確定給定樣本和train_perc 的拆分成員資格。在調用中使用相同的值來生成一致的拆分。

通過均勻隨機采樣，生成兩個 IterDataPipe 實例，表示給定 IterDataPipe 的不相交的 train 和 val 分割。

例子：

datapipe = criteo_terabyte(
    ("/home/datasets/criteo/day_0.tsv", "/home/datasets/criteo/day_1.tsv")
)
train_datapipe, val_datapipe = rand_split_train_val(datapipe, 0.75)
train_batch = next(iter(train_datapipe))
val_batch = next(iter(val_datapipe))