用法:
class mxnet.gluon.nn.LayerNorm(axis=-1, epsilon=1e-05, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', in_channels=0, prefix=None, params=None)
- axis:(
int
,
default -1
) - 应归一化的轴。这通常是通道的轴。 - epsilon:(
float
,
default 1e-5
) - 添加到方差中的小浮点数以避免除以零。 - center:(
bool
,
default True
) - 如果为真,则添加偏移量beta
归一化张量。如果为假,beta
被忽略。 - scale:(
bool
,
default True
) - 如果为真,则乘以gamma
.如果为假,gamma
未使用。 - beta_initializer:(字符串或
Initializer
, 默认 ‘zeros’) - beta 权重的初始化器。 - gamma_initializer:(字符串或
Initializer
, 默认 ‘ones’) - 伽马权重的初始化器。 - in_channels:(
int
,
default 0
) - 输入数据中的通道数(特征图)。如果不指定,初始化将推迟到第一次forward
被称为和in_channels
将从输入数据的形状推断。
- axis:(
参数:
基础:
mxnet.gluon.block.HybridBlock
将层归一化应用于 n 维输入数组。此运算符采用 n 维输入数组并使用给定轴对输入进行归一化:
- 输入:
- data:: 任意形状的输入张量。
- 输出:
- out::输出具有相同形状的张量
data
.
- out::输出具有相同形状的张量
参考:
例子:
>>> # Input of shape (2, 5) >>> x = mx.nd.array([[1, 2, 3, 4, 5], [1, 1, 2, 2, 2]]) >>> # Layer normalization is calculated with the above formula >>> layer = LayerNorm() >>> layer.initialize(ctx=mx.cpu(0)) >>> layer(x) [[-1.41421 -0.707105 0. 0.707105 1.41421 ] [-1.2247195 -1.2247195 0.81647956 0.81647956 0.81647956]] <NDArray 2x5 @cpu(0)>
相关用法
- Python mxnet.gluon.nn.SymbolBlock用法及代码示例
- Python mxnet.gluon.nn.Sequential用法及代码示例
- Python mxnet.gluon.nn.InstanceNorm用法及代码示例
- Python mxnet.gluon.nn.HybridSequential用法及代码示例
- Python mxnet.gluon.nn.Block用法及代码示例
- Python mxnet.gluon.nn.SymbolBlock.imports用法及代码示例
- Python mxnet.gluon.nn.ReflectionPad2D用法及代码示例
- Python mxnet.gluon.nn.GroupNorm用法及代码示例
- Python mxnet.gluon.nn.HybridBlock用法及代码示例
- Python mxnet.gluon.nn.Block.name_scope用法及代码示例
- Python mxnet.gluon.nn.Block.collect_params用法及代码示例
- Python mxnet.gluon.HybridBlock.collect_params用法及代码示例
- Python mxnet.gluon.data.vision.datasets.ImageFolderDataset用法及代码示例
- Python mxnet.gluon.data.vision.transforms.CenterCrop用法及代码示例
- Python mxnet.gluon.contrib.nn.Concurrent用法及代码示例
- Python mxnet.gluon.SymbolBlock.imports用法及代码示例
- Python mxnet.gluon.Block用法及代码示例
- Python mxnet.gluon.contrib.nn.PixelShuffle2D用法及代码示例
- Python mxnet.gluon.Block.name_scope用法及代码示例
- Python mxnet.gluon.SymbolBlock.collect_params用法及代码示例
- Python mxnet.gluon.contrib.data.sampler.IntervalSampler用法及代码示例
- Python mxnet.gluon.data.vision.transforms.Normalize用法及代码示例
- Python mxnet.gluon.contrib.nn.PixelShuffle3D用法及代码示例
- Python mxnet.gluon.HybridBlock用法及代码示例
- Python mxnet.gluon.data.vision.transforms.Resize用法及代码示例
注:本文由纯净天空筛选整理自apache.org大神的英文原创作品 mxnet.gluon.nn.LayerNorm。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。