Python mxnet.gluon.nn.LayerNorm用法及代码示例

用法: class mxnet.gluon.nn.LayerNorm(axis=-1, epsilon=1e-05, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', in_channels=0, prefix=None, params=None)

参数：

axis：(int, default -1) - 应归一化的轴。这通常是通道的轴。
epsilon：(float, default 1e-5) - 添加到方差中的小浮点数以避免除以零。
center：(bool, default True) - 如果为真，则添加偏移量beta归一化张量。如果为假，beta被忽略。
scale：(bool, default True) - 如果为真，则乘以gamma.如果为假，gamma未使用。
beta_initializer：(字符串或Initializer, 默认 ‘zeros’) - beta 权重的初始化器。
gamma_initializer：(字符串或Initializer, 默认 ‘ones’) - 伽马权重的初始化器。
in_channels：(int, default 0) - 输入数据中的通道数(特征图)。如果不指定，初始化将推迟到第一次forward被称为和in_channels将从输入数据的形状推断。

基础：mxnet.gluon.block.HybridBlock

将层归一化应用于 n 维输入数组。此运算符采用 n 维输入数组并使用给定轴对输入进行归一化：

\[out = \frac{x - mean[data, axis]}{ \sqrt{Var[data, axis] + \epsilon}} * gamma + beta\]

输入：

data：: 任意形状的输入张量。

输出：

out：：输出具有相同形状的张量data.

参考：

层标准化

例子：

>>> # Input of shape (2, 5)
>>> x = mx.nd.array([[1, 2, 3, 4, 5], [1, 1, 2, 2, 2]])
>>> # Layer normalization is calculated with the above formula
>>> layer = LayerNorm()
>>> layer.initialize(ctx=mx.cpu(0))
>>> layer(x)
[[-1.41421    -0.707105    0.          0.707105    1.41421   ]
 [-1.2247195  -1.2247195   0.81647956  0.81647956  0.81647956]]
<NDArray 2x5 @cpu(0)>

相关用法

注：本文由纯净天空筛选整理自apache.org大神的英文原创作品 mxnet.gluon.nn.LayerNorm。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。