Python PyTorch TransformerEncoder用法及代碼示例

本文簡要介紹python語言中 torch.nn.TransformerEncoder 的用法。

用法:

class torch.nn.TransformerEncoder(encoder_layer, num_layers, norm=None)

參數：

• encoder_layer-TransformerEncoderLayer() 類的實例(必需)。

• num_layers-編碼器中sub-encoder-layers 的數量(必需)。

• norm-層標準化組件(可選)。

TransformerEncoder 是 N 個編碼器層的堆棧

例子：：

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6)
>>> src = torch.rand(10, 32, 512)
>>> out = transformer_encoder(src)