Python PyTorch InProjContainer.forward用法及代码示例

本文简要介绍python语言中 torchtext.nn.InProjContainer.forward 的用法。

用法:

forward(query: torch.Tensor, key: torch.Tensor, value: torch.Tensor) → Tuple[torch.Tensor, torch.Tensor, torch.Tensor]

参数：

• query(Tensor) -要投影的查询。

• key(Tensor) -要投影的键。

• value(Tensor) -要预测的值。

使用 in-proj 层投影输入序列。 query/key/value 分别简单地传递给 query/key/value_proj 的转发函数。

例子：：

>>> import torch
>>> from torchtext.nn import InProjContainer
>>> embed_dim, bsz = 10, 64
>>> in_proj_container = InProjContainer(torch.nn.Linear(embed_dim, embed_dim),
                                        torch.nn.Linear(embed_dim, embed_dim),
                                        torch.nn.Linear(embed_dim, embed_dim))
>>> q = torch.rand((5, bsz, embed_dim))
>>> k = v = torch.rand((6, bsz, embed_dim))
>>> q, k, v = in_proj_container(q, k, v)