Python tf.compat.v1.layers.batch_normalization用法及代碼示例

參數

• inputs 張量輸入。
• axis 一個 int ，應該標準化的軸(通常是特征軸)。例如，在帶有 data_format="channels_first" 的 Convolution2D 層之後，在 BatchNormalization 中設置 axis=1。
• momentum 移動平均線的動量。
• epsilon 小浮點數添加到方差中以避免除以零。
• center 如果為 True，則將 beta 的偏移量添加到歸一化張量。如果為 False，則忽略 beta。
• scale 如果為真，乘以 gamma 。如果為 False，則不使用 gamma。當下一層是線性的(例如 nn.relu )時，可以禁用此函數，因為縮放可以由下一層完成。
• beta_initializer Beta 權重的初始化程序。
• gamma_initializer 伽馬權重的初始化器。
• moving_mean_initializer 移動均值的初始化器。
• moving_variance_initializer 移動方差的初始化程序。
• beta_regularizer beta 權重的可選正則化器。
• gamma_regularizer 伽馬權重的可選正則化器。
• beta_constraint 由Optimizer 更新後應用於beta 權重的可選投影函數(例如，用於實現層權重的範數約束或值約束)。該函數必須將未投影變量作為輸入，並且必須返回投影變量(必須具有相同的形狀)。在進行異步分布式訓練時使用約束是不安全的。
• gamma_constraint 在被 Optimizer 更新後，將應用於 gamma 權重的可選投影函數。
• training Python 布爾值或 TensorFlow 布爾標量張量(例如占位符)。是在訓練模式(使用當前批次的統計數據歸一化)還是在推理模式(使用移動統計數據歸一化)返回輸出。NOTE：確保正確設置此參數，否則您的訓練/推理將無法正常工作。
• trainable 布爾值，如果 True 還將變量添加到圖形集合 GraphKeys.TRAINABLE_VARIABLES(請參閱 tf.Variable)。
• name 字符串，圖層的名稱。
• reuse 布爾值，是否重用前一層同名的權重。
• renorm 是否使用 Batch Renormalization (Ioffe, 2017)。這在訓練期間增加了額外的變量。對於此參數的任一值，推斷都是相同的。
• renorm_clipping 可以將鍵 'rmax'、'rmin'、'dmax' 映射到標量 Tensors 的字典，用於裁剪 renorm 校正。校正 (r, d) 用作 corrected_value = normalized_value * r + d ，r 被剪裁為 [rmin, rmax]，d 被剪裁為 [-dmax, dmax]。缺少的rmax、rmin、dmax分別設置為 inf, 0、 inf,。
• renorm_momentum 用於使用 renorm 更新移動均值和標準差的動量。與 momentum 不同，這會影響訓練，並且既不能太小(會增加噪音)也不能太大(會給出過時的估計)。請注意，momentum 仍用於獲取推理的均值和方差。
• fused 如果 None 或 True ，請盡可能使用更快的融合實現。如果 False ，使用係統推薦的實現。
• virtual_batch_size 一個 int 。默認情況下，virtual_batch_size 是 None ，這意味著在整個批次中執行批次標準化。當 virtual_batch_size 不是 None 時，改為執行“Ghost Batch Normalization”，它會創建虛擬的 sub-batches，每個都分別進行標準化(使用共享的 gamma、beta 和移動統計信息)。執行過程中必須除以實際的batch size。
• adjustment 一個函數采用包含輸入張量的(動態)形狀的Tensor 並返回一對(比例，偏差)以應用於歸一化值(在 gamma 和 beta 之前)，僅在訓練期間。例如，如果 axis==-1，adjustment = lambda shape:( tf.random.uniform(shape[-1:], 0.93, 1.07), tf.random.uniform(shape[-1:], -0.1, 0.1)) 會將歸一化值向上或向下縮放最多 7%，然後將結果最多移動 0.1(每個特征都有獨立的縮放和偏差，但在所有示例中共享) ，最後應用 gamma 和/或 beta。如果 None ，則不應用任何調整。如果指定了virtual_batch_size，則無法指定。

返回

• 輸出張量。

拋出

• ValueError 如果啟用了即刻執行。