Python PyTorch InProjContainer.forward用法及代碼示例

本文簡要介紹python語言中 torchtext.nn.InProjContainer.forward 的用法。

用法:

forward(query: torch.Tensor, key: torch.Tensor, value: torch.Tensor) → Tuple[torch.Tensor, torch.Tensor, torch.Tensor]

參數：

• query(Tensor) -要投影的查詢。

• key(Tensor) -要投影的鍵。

• value(Tensor) -要預測的值。

使用 in-proj 層投影輸入序列。 query/key/value 分別簡單地傳遞給 query/key/value_proj 的轉發函數。

例子：：

>>> import torch
>>> from torchtext.nn import InProjContainer
>>> embed_dim, bsz = 10, 64
>>> in_proj_container = InProjContainer(torch.nn.Linear(embed_dim, embed_dim),
                                        torch.nn.Linear(embed_dim, embed_dim),
                                        torch.nn.Linear(embed_dim, embed_dim))
>>> q = torch.rand((5, bsz, embed_dim))
>>> k = v = torch.rand((6, bsz, embed_dim))
>>> q, k, v = in_proj_container(q, k, v)