Tensorflow.js tf.layers.layerNormalization()用法及代碼示例

Tensorflow.js是Google開發的開源工具包，用於在瀏覽器或節點平台上執行機器學習模型和深度學習神經網絡。它還使開發人員能夠在 JavaScript 中創建機器學習模型，並直接在瀏覽器中或通過 Node.js 使用它們。

tf.layers.layerNormalization() 函數用於對數據應用層歸一化操作。

用法:

tf.layers.layerNormalization(args?)

輸入形狀：任意。當使用該層作為模型中的初始層時，請使用 inputShape 配置。

輸出形狀：輸出與輸入具有相同的形狀。

參數：它接受 args 對象，該對象可以具有以下屬性：

• axis (number):應標準化的整數軸(通常是特征軸)。 -1 是默認值。
• momentum (number): 移動平均線的動量。默認值為 0.99。
• epsilon (number): 將小浮點數添加到方差中以避免被零除。默認為 1e-3。
• center (boolean):如果這是真的，請將 beta 的偏移量添加到歸一化張量中。如果為 false，則不考慮 beta。默認情況下該值設置為 true。
• scale (boolean)：如果這是真的，則乘以伽瑪。如果為 false，則不會使用 Gamma。 True 是默認值。
• betaInitializer:這是 beta 權重的初始值設定項。 ‘zeroes’ 是默認值。
• gammaInitializer:這是伽瑪權重的初始值設定項。 ‘ones’ 是默認值。
• movingMeanInitializer:這是移動均值的初始值設定項。 ‘zeroes’ 是默認值。
• movingVarianceInitializer:這是移動方差的初始值設定項。 ‘ones’ 是默認值。
• betaConstraint:Beta 權重的約束。
• gammaConstraint:gamma 權重的約束。
• betaRegularizer:Beta 權重的正則化器。
• gammaRegularizer:Beta 權重的正則化器。
• inputShape:如果設置了此屬性，它將用於構造一個輸入層，該輸入層將插入到該層之前。
• batchInputShape:如果設置了此屬性，將創建一個輸入層並將其插入到該層之前。
• batchSize:如果未提供batchInputShape而提供了inputShape，則使用batchSize來構建batchInputShape。
• dtype:這是該層的數據類型。 float32 是默認值。該參數僅適用於輸入層。
• name:這是圖層的名稱，是字符串類型。
• trainable:如果該層的權重可以通過擬合來改變。 True 是默認值。
• weights:圖層的初始權重值。

返回：它返回一個對象(LayerNormalization)。

示例 1：

import * as tf from "@tensorflow/tfjs"; 
  
const layerNormalizationLayer = tf.layers.layerNormalization();     
  
const x = tf.tensor([1.12, -0.8, 1.9, 0.12, 0.25, -3.4], [2, 3]); 
  
layerNormalizationLayer.apply(x).print();

輸出：

Tensor
   [[0.334805 , -1.3568414, 1.0220363 ],
    [0.6681985, 0.7450709 , -1.4132695]]

示例 2：

import * as tf from "@tensorflow/tfjs"; 
  
const layerNormalizationLayer = tf.layers.layerNormalization();     
  
const x = tf.tensor([12, 3.2, 4.8, 9, 10, 2.5, 8,  
    11, 9.4, 25, 24.9, 98.7], [2, 3, 2]); 
  
layerNormalizationLayer.apply(x).print();

輸出：

Tensor
   [[[0.9999743 , -0.9999742],
     [-0.9998867, 0.9998867 ],
     [0.9999645 , -0.9999645]],
    [[-0.9997779, 0.9997779 ],
     [-0.9999919, 0.9999917 ],
     [-0.9999996, 0.9999996 ]]]
 

參考： https://js.tensorflow.org/api/latest/#layers.layerNormalization