Python PyTorch ScaledDotProduct.__init__用法及代碼示例

本文簡要介紹python語言中 torchtext.nn.ScaledDotProduct.__init__ 的用法。

用法:

__init__(dropout=0.0, batch_first=False)

參數：

• dropout(float) -降低注意力權重的概率。

• batch_first-如果 True ，則輸入和輸出張量作為 (batch, seq, feature) 提供。默認值：False

處理投影查詢和鍵值對以應用縮放的點積注意力。

例子：：

>>> import torch, torchtext
>>> SDP = torchtext.nn.ScaledDotProduct(dropout=0.1)
>>> q = torch.randn(21, 256, 3)
>>> k = v = torch.randn(21, 256, 3)
>>> attn_output, attn_weights = SDP(q, k, v)
>>> print(attn_output.shape, attn_weights.shape)
torch.Size([21, 256, 3]) torch.Size([256, 21, 21])