当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python mxnet.gluon.nn.LayerNorm用法及代码示例


用法:

class mxnet.gluon.nn.LayerNorm(axis=-1, epsilon=1e-05, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', in_channels=0, prefix=None, params=None)

参数

  • axis(int, default -1) - 应归一化的轴。这通常是通道的轴。
  • epsilon(float, default 1e-5) - 添加到方差中的小浮点数以避免除以零。
  • center(bool, default True) - 如果为真,则添加偏移量beta归一化张量。如果为假,beta被忽略。
  • scale(bool, default True) - 如果为真,则乘以gamma.如果为假,gamma未使用。
  • beta_initializer(字符串或Initializer, 默认 ‘zeros’) - beta 权重的初始化器。
  • gamma_initializer(字符串或Initializer, 默认 ‘ones’) - 伽马权重的初始化器。
  • in_channels(int, default 0) - 输入数据中的通道数(特征图)。如果不指定,初始化将推迟到第一次forward被称为和in_channels将从输入数据的形状推断。

基础:mxnet.gluon.block.HybridBlock

将层归一化应用于 n 维输入数组。此运算符采用 n 维输入数组并使用给定轴对输入进行归一化:

输入:
  • data: 任意形状的输入张量。
输出:
  • out:输出具有相同形状的张量data.

参考

层标准化

例子

>>> # Input of shape (2, 5)
>>> x = mx.nd.array([[1, 2, 3, 4, 5], [1, 1, 2, 2, 2]])
>>> # Layer normalization is calculated with the above formula
>>> layer = LayerNorm()
>>> layer.initialize(ctx=mx.cpu(0))
>>> layer(x)
[[-1.41421    -0.707105    0.          0.707105    1.41421   ]
 [-1.2247195  -1.2247195   0.81647956  0.81647956  0.81647956]]
<NDArray 2x5 @cpu(0)>

相关用法


注:本文由纯净天空筛选整理自apache.org大神的英文原创作品 mxnet.gluon.nn.LayerNorm。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。