Python PyTorch BatchNorm1d用法及代碼示例

本文簡要介紹python語言中 torch.nn.BatchNorm1d 的用法。

用法:

class torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None, dtype=None)

參數：

• num_features-C 來自大小為 (N, C, L) 的預期輸入或來自大小為 (N, L) 的輸入的 L

• eps-加到分母上的值，以保證數值穩定性。默認值：1e-5

• momentum-用於 running_mean 和 running_var 計算的值。可以設置為None 用於累積移動平均(即簡單平均)。默認值：0.1

• affine-一個布爾值，當設置為 True 時，此模塊具有可學習的仿射參數。默認值：True

• track_running_stats-一個布爾值，當設置為 True 時，此模塊跟蹤運行均值和方差，當設置為 False 時，此模塊不跟蹤此類統計信息，並將統計緩衝區 running_mean 和 running_var 初始化為 None .當這些緩衝區為 None 時，此模塊始終使用批處理統計信息。在訓練和評估模式下。默認值：True

如本文所述，在 2D 或 3D 輸入(具有可選附加通道維度的小批量 1D 輸入)上應用批量標準化批量標準化：通過減少內部協變量偏移來加速深度網絡訓練.

y = \frac{x - \mathrm{E}[x]}{\sqrt{\mathrm{Var}[x] + \epsilon}} * \gamma + \beta

均值和標準差是在小批量上按維度計算的，\gamma 和 \beta 是大小為 C 的可學習參數向量(其中 C 是輸入大小)。默認情況下，\gamma 的元素設置為 1，\beta 的元素設置為 0。標準差通過有偏估計器計算，等效於 torch.var(input, unbiased=False)。

同樣默認情況下，在訓練期間，該層會繼續對其計算的均值和方差進行估計，然後在評估期間將其用於歸一化。運行估計保持默認 momentum 為 0.1。

如果 track_running_stats 設置為 False ，則該層不會繼續運行估計，並且在評估期間也會使用批處理統計信息。

注意

這個momentum 參數不同於優化器類中使用的參數和傳統的動量概念。在數學上，這裏運行統計的更新規則是 \hat{x}_\text{new} = (1 - \text{momentum}) \times \hat{x} + \text{momentum} \times x_t ，其中 \hat{x} 是估計的統計量，而 x_t 是新的觀察值。

因為批量標準化是在 C 維度上完成的，計算 (N, L) 切片的統計信息，所以將其稱為時間批量標準化是常見的術語。

形狀：

• 輸入：(N, C) 或 (N, C, L)

• 輸出：(N, C) 或 (N, C, L)(與輸入的形狀相同)

例子：

>>> # With Learnable Parameters
>>> m = nn.BatchNorm1d(100)
>>> # Without Learnable Parameters
>>> m = nn.BatchNorm1d(100, affine=False)
>>> input = torch.randn(20, 100)
>>> output = m(input)