Python torch.nn.TransformerEncoderLayer用法及代码示例

用法: class torch.nn.TransformerEncoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, device=None, dtype=None)

参数：

d_model-输入中预期特征的数量(必需)。
nhead-多头注意力模型中的头数(必需)。
dim_feedforward-前馈网络模型的维度(默认=2048)。
dropout-辍学值(默认= 0.1)。
activation-中间层的激活函数，可以是字符串(“relu” or “gelu”)或一元可调用函数。默认值：relu
layer_norm_eps-层标准化组件中的 eps 值(默认值=1e-5)。
batch_first-如果 True ，则输入和输出张量提供为 (batch, seq, feature)。默认值：False。
norm_first-如果 True ，层范数分别在注意力和前馈操作之前完成。否则之后就完成了。默认值：False(之后)。

TransformerEncoderLayer 由self-attn 和前馈网络组成。该标准编码器层基于论文“Attention Is All You Need”。 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N Gomez、Lukasz Kaiser 和 Illia Polosukhin。 2017. 注意力就是你所需要的。在神经信息处理系统的进展中，第 6000-6010 页。用户可以在申请过程中以不同的方式修改或实现。

例子：：

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> src = torch.rand(10, 32, 512)
>>> out = encoder_layer(src)

或者，当 batch_first 是 True 时：

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8, batch_first=True)
>>> src = torch.rand(32, 10, 512)
>>> out = encoder_layer(src)

相关用法

注：本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.nn.TransformerEncoderLayer。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。