Python PyTorch ScaledDotProduct.__init__用法及代码示例

本文简要介绍python语言中 torchtext.nn.ScaledDotProduct.__init__ 的用法。

用法:

__init__(dropout=0.0, batch_first=False)

参数：

• dropout(float) -降低注意力权重的概率。

• batch_first-如果 True ，则输入和输出张量作为 (batch, seq, feature) 提供。默认值：False

处理投影查询和键值对以应用缩放的点积注意力。

例子：：

>>> import torch, torchtext
>>> SDP = torchtext.nn.ScaledDotProduct(dropout=0.1)
>>> q = torch.randn(21, 256, 3)
>>> k = v = torch.randn(21, 256, 3)
>>> attn_output, attn_weights = SDP(q, k, v)
>>> print(attn_output.shape, attn_weights.shape)
torch.Size([21, 256, 3]) torch.Size([256, 21, 21])