Python PyTorch Embedding.from_pretrained用法及代碼示例

本文簡要介紹python語言中 torch.nn.Embedding.from_pretrained 的用法。

用法:

classmethod from_pretrained(embeddings, freeze=True, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False)

參數：

• embeddings(Tensor) -FloatTensor 包含嵌入的權重。第一個維度作為 num_embeddings 傳遞給嵌入，第二個維度作為 embedding_dim 傳遞給嵌入。

• freeze(布爾值,可選的) -如果 True ，則張量在學習過程中不會更新。等效於 embedding.weight.requires_grad = False 。默認值：True

• padding_idx(int,可選的) -如果指定，padding_idx 處的條目不會影響梯度；因此，padding_idx 處的嵌入向量在訓練期間不會更新，即它保持為固定的 “pad”。

• max_norm(float,可選的) -請參閱模塊初始化文檔。

• norm_type(float,可選的) -請參閱模塊初始化文檔。默認 2 。

• scale_grad_by_freq(布爾值,可選的) -請參閱模塊初始化文檔。默認 False 。

• sparse(bool,可選的) -請參閱模塊初始化文檔。

從給定的二維 FloatTensor 創建 Embedding 實例。

例子：

>>> # FloatTensor containing pretrained weights
>>> weight = torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])
>>> embedding = nn.Embedding.from_pretrained(weight)
>>> # Get embeddings for index 1
>>> input = torch.LongTensor([1])
>>> embedding(input)
tensor([[ 4.0000,  5.1000,  6.3000]])