Python PyTorch RandomRecDataset用法及代碼示例

本文簡要介紹python語言中 torchrec.datasets.random.RandomRecDataset 的用法。

用法:

class torchrec.datasets.random.RandomRecDataset(keys: List[str], batch_size: int, hash_size: Optional[int] = 100, hash_sizes: Optional[List[int]] = None, ids_per_feature: int = 2, num_dense: int = 50, manual_seed: Optional[int] = None)

參數：

• keys(List[str]) -稀疏特征的特征名稱列表。

• batch_size(int) -批量大小。

• hash_size(可選的[int]) -最大稀疏 id 值。所有稀疏 ID 都將取模這個值。

• hash_sizes(可選的[List[int]]) -鍵中每個特征的最大稀疏 id 值。每個稀疏 ID 都將從該參數中取模對應的值。

• ids_per_feature(int) -每個稀疏特征的 ID 數。

• num_dense(int) -密集特征的數量。

• manual_seed(int) -確定性行為的種子。

基礎：torch.utils.data.dataset.IterableDataset [torchrec.datasets.utils.Batch]

用於為推薦係統 (RecSys) 生成批次的隨機可迭代數據集。目前僅產生未加權的稀疏特征。 TODO：添加加權稀疏特征。

例子：

dataset = RandomRecDataset(
    keys=["feat1", "feat2"],
    batch_size=16,
    hash_size=100_000,
    ids_per_feature=1,
    num_dense=13,
),
example = next(iter(dataset))