Python PyTorch TransformerEncoder用法及代码示例

本文简要介绍python语言中 torch.nn.TransformerEncoder 的用法。

用法:

class torch.nn.TransformerEncoder(encoder_layer, num_layers, norm=None)

参数：

• encoder_layer-TransformerEncoderLayer() 类的实例(必需)。

• num_layers-编码器中sub-encoder-layers 的数量(必需)。

• norm-层标准化组件(可选)。

TransformerEncoder 是 N 个编码器层的堆栈

例子：：

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6)
>>> src = torch.rand(10, 32, 512)
>>> out = transformer_encoder(src)