Python PyTorch InstanceNorm1d用法及代碼示例

本文簡要介紹python語言中 torch.nn.InstanceNorm1d 的用法。

用法:

class torch.nn.InstanceNorm1d(num_features, eps=1e-05, momentum=0.1, affine=False, track_running_stats=False, device=None, dtype=None)

參數：

• num_features-C 來自大小為 (N, C, L) 的預期輸入或來自大小為 (N, L) 的輸入的 L

• eps-加到分母上的值，以保證數值穩定性。默認值：1e-5

• momentum-用於 running_mean 和 running_var 計算的值。默認值：0.1

• affine-一個布爾值，當設置為 True 時，此模塊具有可學習的仿射參數，其初始化方式與批量標準化相同。默認值：False。

• track_running_stats-一個布爾值，當設置為 True 時，此模塊跟蹤運行均值和方差，當設置為 False 時，此模塊不跟蹤此類統計信息，並且始終在訓練和評估模式下使用批處理統計信息。默認值：False

如本文所述，在 3D 輸入(具有可選附加通道維度的小批量 1D 輸入)上應用實例歸一化實例規範化：快速風格化的缺失成分.

y = \frac{x - \mathrm{E}[x]}{ \sqrt{\mathrm{Var}[x] + \epsilon}} * \gamma + \beta

均值和標準差是針對小批量中的每個對象分別計算每個維度的。 \gamma 和 \beta 是大小為 C(其中 C 是輸入大小)的可學習參數向量，如果 affine 是 True 。標準差是通過有偏估計器計算的，相當於 torch.var(input, unbiased=False) 。

默認情況下，該層使用從訓練和評估模式中的輸入數據計算的實例統計信息。

如果 track_running_stats 設置為 True ，則在訓練期間，該層會繼續對其計算的均值和方差進行估計，然後在評估期間將其用於歸一化。運行估計保持默認 momentum 為 0.1。

注意

這個momentum 參數不同於優化器類中使用的參數和傳統的動量概念。在數學上，這裏運行統計的更新規則是 \hat{x}_\text{new} = (1 - \text{momentum}) \times \hat{x} + \text{momentum} \times x_t ，其中 \hat{x} 是估計的統計量，而 x_t 是新的觀察值。

注意

InstanceNorm1d 和 LayerNorm 非常相似，但有一些細微的差別。 InstanceNorm1d 適用於多維時間序列等通道數據的每個通道，但 LayerNorm 通常適用於整個樣本，並且經常用於 NLP 任務。此外， LayerNorm 應用逐元素仿射變換，而 InstanceNorm1d 通常不應用仿射變換。

形狀：

• 輸入：(N, C, L)

• 輸出：(N, C, L)(與輸入的形狀相同)

例子：

>>> # Without Learnable Parameters
>>> m = nn.InstanceNorm1d(100)
>>> # With Learnable Parameters
>>> m = nn.InstanceNorm1d(100, affine=True)
>>> input = torch.randn(20, 100, 40)
>>> output = m(input)