Python PyTorch Embedding.from_pretrained用法及代码示例

本文简要介绍python语言中 torch.nn.Embedding.from_pretrained 的用法。

用法:

classmethod from_pretrained(embeddings, freeze=True, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False)

参数：

• embeddings(Tensor) -FloatTensor 包含嵌入的权重。第一个维度作为 num_embeddings 传递给嵌入，第二个维度作为 embedding_dim 传递给嵌入。

• freeze(布尔值,可选的) -如果 True ，则张量在学习过程中不会更新。等效于 embedding.weight.requires_grad = False 。默认值：True

• padding_idx(int,可选的) -如果指定，padding_idx 处的条目不会影响梯度；因此，padding_idx 处的嵌入向量在训练期间不会更新，即它保持为固定的 “pad”。

• max_norm(float,可选的) -请参阅模块初始化文档。

• norm_type(float,可选的) -请参阅模块初始化文档。默认 2 。

• scale_grad_by_freq(布尔值,可选的) -请参阅模块初始化文档。默认 False 。

• sparse(bool,可选的) -请参阅模块初始化文档。

从给定的二维 FloatTensor 创建 Embedding 实例。

例子：

>>> # FloatTensor containing pretrained weights
>>> weight = torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])
>>> embedding = nn.Embedding.from_pretrained(weight)
>>> # Get embeddings for index 1
>>> input = torch.LongTensor([1])
>>> embedding(input)
tensor([[ 4.0000,  5.1000,  6.3000]])