当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python PyTorch embedding用法及代码示例


本文简要介绍python语言中 torch.nn.functional.embedding 的用法。

用法:

torch.nn.functional.embedding(input, weight, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False)

参数

  • input(LongTensor) -包含嵌入矩阵中的索引的张量

  • weight(Tensor) -行数等于最大可能索引 + 1 且列数等于嵌入大小的嵌入矩阵

  • padding_idx(int,可选的) -如果指定,padding_idx 处的条目不会影响梯度;因此,padding_idx 处的嵌入向量在训练期间不会更新,即它保持为固定的 “pad”。

  • max_norm(float,可选的) -如果给定,每个范数大于 max_norm 的嵌入向量将被重新归一化为范数 max_norm 。注意:这将就地修改weight

  • norm_type(float,可选的) -p-norm 的 p 为 max_norm 选项计算。默认 2

  • scale_grad_by_freq(布尔值,可选的) -如果给定,这将通过小批量中单词频率的倒数来缩放梯度。默认 False

  • sparse(bool,可选的) -如果 True ,梯度 w.r.t. weight 将是一个稀疏张量。有关稀疏渐变的更多详细信息,请参阅 torch.nn.Embedding 下的注释。

一个简单的查找表,用于查找固定字典和大小的嵌入。

该模块通常用于使用索引检索词嵌入。模块的输入是索引列表和嵌入矩阵,输出是相应的词嵌入。

有关详细信息,请参阅 torch.nn.Embedding

形状:
  • 输入:任意形状的LongTensor,包含要提取的索引

  • 权重:形状为 (V, embedding_dim) 的浮点类型嵌入矩阵,其中 V = 最大索引 + 1,embedding_dim = 嵌入大小

  • 输出:(*, embedding_dim) ,其中 * 是输入形状

例子:

>>> # a batch of 2 samples of 4 indices each
>>> input = torch.tensor([[1,2,4,5],[4,3,2,9]])
>>> # an embedding matrix containing 10 tensors of size 3
>>> embedding_matrix = torch.rand(10, 3)
>>> F.embedding(input, embedding_matrix)
tensor([[[ 0.8490,  0.9625,  0.6753],
         [ 0.9666,  0.7761,  0.6108],
         [ 0.6246,  0.9751,  0.3618],
         [ 0.4161,  0.2419,  0.7383]],

        [[ 0.6246,  0.9751,  0.3618],
         [ 0.0237,  0.7794,  0.0528],
         [ 0.9666,  0.7761,  0.6108],
         [ 0.3385,  0.8612,  0.1867]]])

>>> # example with padding_idx
>>> weights = torch.rand(10, 3)
>>> weights[0, :].zero_()
>>> embedding_matrix = weights
>>> input = torch.tensor([[0,2,0,5]])
>>> F.embedding(input, embedding_matrix, padding_idx=0)
tensor([[[ 0.0000,  0.0000,  0.0000],
         [ 0.5609,  0.5384,  0.8720],
         [ 0.0000,  0.0000,  0.0000],
         [ 0.6262,  0.2438,  0.7471]]])

相关用法


注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.nn.functional.embedding。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。