Python PyTorch SimpleDeepFMNN用法及代碼示例

本文簡要介紹python語言中 torchrec.models.deepfm.SimpleDeepFMNN 的用法。

用法:

class torchrec.models.deepfm.SimpleDeepFMNN(num_dense_features: int, embedding_bag_collection: torchrec.modules.embedding_modules.EmbeddingBagCollection, hidden_layer_size: int, deep_fm_dimension: int)

參數：

• num_dense_features(int) -輸入密集特征的數量。

• embedding_bag_collection(torchrec.modules.embedding_modules.EmbeddingBagCollection) -用於定義 SparseArch 的嵌入包集合。

• hidden_layer_size(int) -密集模塊中使用的隱藏層大小。

• deep_fm_dimension(int) -deep_fm 的深度交互模塊中使用的輸出層大小。

基礎：torch.nn.modules.module.Module

具有 DeepFM 架構的基本 resys 模塊。通過學習每個特征的池化嵌入來處理稀疏特征。通過將密集特征投影到相同的嵌入空間來學習密集特征和稀疏特征之間的關係。通過本文提出的deep_fm學習那些密集和稀疏特征之間的相互作用：https://arxiv.org/pdf/1703.04247.pdf

該模塊假設所有稀疏特征具有相同的嵌入維度(即每個EmbeddingBagConfig 使用相同的embedding_dim)

在整個模型的文檔中使用以下符號：

• F：稀疏特征的數量

• D：embedding_dimension 稀疏特征

• B：批量大小

• num_features：密集特征的數量

例子：

B = 2
D = 8

eb1_config = EmbeddingBagConfig(
    name="t1", embedding_dim=D, num_embeddings=100, feature_names=["f1", "f3"]
)
eb2_config = EmbeddingBagConfig(
    name="t2",
    embedding_dim=D,
    num_embeddings=100,
    feature_names=["f2"],
)
ebc_config = EmbeddingBagCollectionConfig(tables=[eb1_config, eb2_config])

ebc = EmbeddingBagCollection(config=ebc_config)
sparse_nn = SimpleDeepFMNN(
    embedding_bag_collection=ebc, hidden_layer_size=20, over_embedding_dim=5
)

features = torch.rand((B, 100))

#     0       1
# 0   [1,2] [4,5]
# 1   [4,3] [2,9]
# ^
# feature
sparse_features = KeyedJaggedTensor.from_offsets_sync(
    keys=["f1", "f3"],
    values=torch.tensor([1, 2, 4, 5, 4, 3, 2, 9]),
    offsets=torch.tensor([0, 2, 4, 6, 8]),
)

logits = sparse_nn(
    dense_features=features,
    sparse_features=sparse_features,
)