用法:
class torch.nn.TransformerEncoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, device=None, dtype=None)
d_model-输入中预期特征的数量(必需)。
nhead-多头注意力模型中的头数(必需)。
dim_feedforward-前馈网络模型的维度(默认=2048)。
dropout-辍学值(默认= 0.1)。
activation-中间层的激活函数,可以是字符串(“relu” or “gelu”)或一元可调用函数。默认值:relu
layer_norm_eps-层标准化组件中的 eps 值(默认值=1e-5)。
batch_first-如果
True
,则输入和输出张量提供为 (batch, seq, feature)。默认值:False
。norm_first-如果
True
,层范数分别在注意力和前馈操作之前完成。否则之后就完成了。默认值:False
(之后)。
TransformerEncoderLayer 由self-attn 和前馈网络组成。该标准编码器层基于论文“Attention Is All You Need”。 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N Gomez、Lukasz Kaiser 和 Illia Polosukhin。 2017. 注意力就是你所需要的。在神经信息处理系统的进展中,第 6000-6010 页。用户可以在申请过程中以不同的方式修改或实现。
- 例子::
>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8) >>> src = torch.rand(10, 32, 512) >>> out = encoder_layer(src)
- 或者,当
batch_first
是True
时: >>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8, batch_first=True) >>> src = torch.rand(32, 10, 512) >>> out = encoder_layer(src)
参数:
相关用法
- Python torch.nn.TransformerEncoder用法及代码示例
- Python torch.nn.Transformer用法及代码示例
- Python torch.nn.Transformer.forward用法及代码示例
- Python torch.nn.TransformerDecoderLayer用法及代码示例
- Python torch.nn.TransformerDecoder用法及代码示例
- Python torch.nn.TripletMarginWithDistanceLoss用法及代码示例
- Python torch.nn.TripletMarginLoss用法及代码示例
- Python torch.nn.Tanhshrink用法及代码示例
- Python torch.nn.Tanh用法及代码示例
- Python torch.nn.Threshold用法及代码示例
- Python torch.nn.InstanceNorm3d用法及代码示例
- Python torch.nn.quantized.dynamic.LSTM用法及代码示例
- Python torch.nn.EmbeddingBag用法及代码示例
- Python torch.nn.Module.register_forward_hook用法及代码示例
- Python torch.nn.AvgPool2d用法及代码示例
- Python torch.nn.PixelShuffle用法及代码示例
- Python torch.nn.CELU用法及代码示例
- Python torch.nn.Hardsigmoid用法及代码示例
- Python torch.nn.functional.conv1d用法及代码示例
- Python torch.nn.Identity用法及代码示例
注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.nn.TransformerEncoderLayer。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。