Python PyTorch TransformerEncoderLayer用法及代码示例

本文简要介绍python语言中 torch.nn.TransformerEncoderLayer 的用法。

用法:

class torch.nn.TransformerEncoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, device=None, dtype=None)

参数：

• d_model-输入中预期特征的数量(必需)。

• nhead-多头注意力模型中的头数(必需)。

• dim_feedforward-前馈网络模型的维度(默认=2048)。

• dropout-辍学值(默认= 0.1)。

• activation-中间层的激活函数，可以是字符串(“relu”或“gelu”)或一元可调用函数。默认值：relu

• layer_norm_eps-层标准化组件中的 eps 值(默认值=1e-5)。

• batch_first-如果 True ，则输入和输出张量提供为 (batch, seq, feature)。默认值：False。

• norm_first-如果 True ，则层规范分别在注意和前馈操作之前完成。不然后面就完事了。默认值：False(之后)。

TransformerEncoderLayer由self-attn和前馈网络组成。该标准编码器层基于论文“Attention Is All You Need”。 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N Gomez、Lukasz Kaiser 和 Illia Polosukhin。 2017年，你所需要的就是关注。 《神经信息处理系统进展》，第 6000-6010 页。用户在应用过程中可以进行修改或以不同的方式实现。

例子：：

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> src = torch.rand(10, 32, 512)
>>> out = encoder_layer(src)

或者，当 batch_first 是 True 时：

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8, batch_first=True)
>>> src = torch.rand(32, 10, 512)
>>> out = encoder_layer(src)