本文简要介绍python语言中 torch.nn.functional.embedding
的用法。
用法:
torch.nn.functional.embedding(input, weight, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False)
input(LongTensor) -包含嵌入矩阵中的索引的张量
weight(Tensor) -行数等于最大可能索引 + 1 且列数等于嵌入大小的嵌入矩阵
padding_idx(int,可选的) -如果指定,
padding_idx
处的条目不会影响梯度;因此,padding_idx
处的嵌入向量在训练期间不会更新,即它保持为固定的 “pad”。max_norm(float,可选的) -如果给定,每个范数大于
max_norm
的嵌入向量将被重新归一化为范数max_norm
。注意:这将就地修改weight
。norm_type(float,可选的) -p-norm 的 p 为
max_norm
选项计算。默认2
。scale_grad_by_freq(布尔值,可选的) -如果给定,这将通过小批量中单词频率的倒数来缩放梯度。默认
False
。sparse(bool,可选的) -如果
True
,梯度 w.r.t.weight
将是一个稀疏张量。有关稀疏渐变的更多详细信息,请参阅torch.nn.Embedding
下的注释。
一个简单的查找表,用于查找固定字典和大小的嵌入。
该模块通常用于使用索引检索词嵌入。模块的输入是索引列表和嵌入矩阵,输出是相应的词嵌入。
有关详细信息,请参阅
torch.nn.Embedding
。- 形状:
输入:任意形状的LongTensor,包含要提取的索引
权重:形状为
(V, embedding_dim)
的浮点类型嵌入矩阵,其中 V = 最大索引 + 1,embedding_dim = 嵌入大小输出:
(*, embedding_dim)
,其中*
是输入形状
例子:
>>> # a batch of 2 samples of 4 indices each >>> input = torch.tensor([[1,2,4,5],[4,3,2,9]]) >>> # an embedding matrix containing 10 tensors of size 3 >>> embedding_matrix = torch.rand(10, 3) >>> F.embedding(input, embedding_matrix) tensor([[[ 0.8490, 0.9625, 0.6753], [ 0.9666, 0.7761, 0.6108], [ 0.6246, 0.9751, 0.3618], [ 0.4161, 0.2419, 0.7383]], [[ 0.6246, 0.9751, 0.3618], [ 0.0237, 0.7794, 0.0528], [ 0.9666, 0.7761, 0.6108], [ 0.3385, 0.8612, 0.1867]]]) >>> # example with padding_idx >>> weights = torch.rand(10, 3) >>> weights[0, :].zero_() >>> embedding_matrix = weights >>> input = torch.tensor([[0,2,0,5]]) >>> F.embedding(input, embedding_matrix, padding_idx=0) tensor([[[ 0.0000, 0.0000, 0.0000], [ 0.5609, 0.5384, 0.8720], [ 0.0000, 0.0000, 0.0000], [ 0.6262, 0.2438, 0.7471]]])
参数:
相关用法
- Python PyTorch embedding_bag用法及代码示例
- Python PyTorch empty_like用法及代码示例
- Python PyTorch empty_strided用法及代码示例
- Python PyTorch emit_nvtx用法及代码示例
- Python PyTorch empty用法及代码示例
- Python PyTorch enable_grad用法及代码示例
- Python PyTorch equal用法及代码示例
- Python PyTorch eq用法及代码示例
- Python PyTorch erfc用法及代码示例
- Python PyTorch exp用法及代码示例
- Python PyTorch expires用法及代码示例
- Python PyTorch effect_names用法及代码示例
- Python PyTorch entr用法及代码示例
- Python PyTorch einsum用法及代码示例
- Python PyTorch eigvals用法及代码示例
- Python PyTorch eigvalsh用法及代码示例
- Python PyTorch expm1用法及代码示例
- Python PyTorch export用法及代码示例
- Python PyTorch exp2用法及代码示例
- Python PyTorch erfinv用法及代码示例
- Python PyTorch eig用法及代码示例
- Python PyTorch eigh用法及代码示例
- Python PyTorch extract_archive用法及代码示例
- Python PyTorch eye用法及代码示例
- Python PyTorch eye_用法及代码示例
注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.nn.functional.embedding。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。