Python PyTorch RandomRecDataset用法及代码示例

本文简要介绍python语言中 torchrec.datasets.random.RandomRecDataset 的用法。

用法:

class torchrec.datasets.random.RandomRecDataset(keys: List[str], batch_size: int, hash_size: Optional[int] = 100, hash_sizes: Optional[List[int]] = None, ids_per_feature: int = 2, num_dense: int = 50, manual_seed: Optional[int] = None)

参数：

• keys(List[str]) -稀疏特征的特征名称列表。

• batch_size(int) -批量大小。

• hash_size(可选的[int]) -最大稀疏 id 值。所有稀疏 ID 都将取模这个值。

• hash_sizes(可选的[List[int]]) -键中每个特征的最大稀疏 id 值。每个稀疏 ID 都将从该参数中取模对应的值。

• ids_per_feature(int) -每个稀疏特征的 ID 数。

• num_dense(int) -密集特征的数量。

• manual_seed(int) -确定性行为的种子。

基础：torch.utils.data.dataset.IterableDataset [torchrec.datasets.utils.Batch]

用于为推荐系统 (RecSys) 生成批次的随机可迭代数据集。目前仅产生未加权的稀疏特征。 TODO：添加加权稀疏特征。

例子：

dataset = RandomRecDataset(
    keys=["feat1", "feat2"],
    batch_size=16,
    hash_size=100_000,
    ids_per_feature=1,
    num_dense=13,
),
example = next(iter(dataset))