Tensorflow.js tf.layers.layerNormalization()用法及代码示例

Tensorflow.js是Google开发的开源工具包，用于在浏览器或节点平台上执行机器学习模型和深度学习神经网络。它还使开发人员能够在 JavaScript 中创建机器学习模型，并直接在浏览器中或通过 Node.js 使用它们。

tf.layers.layerNormalization() 函数用于对数据应用层归一化操作。

用法:

tf.layers.layerNormalization(args?)

输入形状：任意。当使用该层作为模型中的初始层时，请使用 inputShape 配置。

输出形状：输出与输入具有相同的形状。

参数：它接受 args 对象，该对象可以具有以下属性：

• axis (number):应标准化的整数轴(通常是特征轴)。 -1 是默认值。
• momentum (number): 移动平均线的动量。默认值为 0.99。
• epsilon (number): 将小浮点数添加到方差中以避免被零除。默认为 1e-3。
• center (boolean):如果这是真的，请将 beta 的偏移量添加到归一化张量中。如果为 false，则不考虑 beta。默认情况下该值设置为 true。
• scale (boolean)：如果这是真的，则乘以伽玛。如果为 false，则不会使用 Gamma。 True 是默认值。
• betaInitializer:这是 beta 权重的初始值设定项。 ‘zeroes’ 是默认值。
• gammaInitializer:这是伽玛权重的初始值设定项。 ‘ones’ 是默认值。
• movingMeanInitializer:这是移动均值的初始值设定项。 ‘zeroes’ 是默认值。
• movingVarianceInitializer:这是移动方差的初始值设定项。 ‘ones’ 是默认值。
• betaConstraint:Beta 权重的约束。
• gammaConstraint:gamma 权重的约束。
• betaRegularizer:Beta 权重的正则化器。
• gammaRegularizer:Beta 权重的正则化器。
• inputShape:如果设置了此属性，它将用于构造一个输入层，该输入层将插入到该层之前。
• batchInputShape:如果设置了此属性，将创建一个输入层并将其插入到该层之前。
• batchSize:如果未提供batchInputShape而提供了inputShape，则使用batchSize来构建batchInputShape。
• dtype:这是该层的数据类型。 float32 是默认值。该参数仅适用于输入层。
• name:这是图层的名称，是字符串类型。
• trainable:如果该层的权重可以通过拟合来改变。 True 是默认值。
• weights:图层的初始权重值。

返回：它返回一个对象(LayerNormalization)。

示例 1：

import * as tf from "@tensorflow/tfjs"; 
  
const layerNormalizationLayer = tf.layers.layerNormalization();     
  
const x = tf.tensor([1.12, -0.8, 1.9, 0.12, 0.25, -3.4], [2, 3]); 
  
layerNormalizationLayer.apply(x).print();

输出：

Tensor
   [[0.334805 , -1.3568414, 1.0220363 ],
    [0.6681985, 0.7450709 , -1.4132695]]

示例 2：

import * as tf from "@tensorflow/tfjs"; 
  
const layerNormalizationLayer = tf.layers.layerNormalization();     
  
const x = tf.tensor([12, 3.2, 4.8, 9, 10, 2.5, 8,  
    11, 9.4, 25, 24.9, 98.7], [2, 3, 2]); 
  
layerNormalizationLayer.apply(x).print();

输出：

Tensor
   [[[0.9999743 , -0.9999742],
     [-0.9998867, 0.9998867 ],
     [0.9999645 , -0.9999645]],
    [[-0.9997779, 0.9997779 ],
     [-0.9999919, 0.9999917 ],
     [-0.9999996, 0.9999996 ]]]
 

参考： https://js.tensorflow.org/api/latest/#layers.layerNormalization