Python PyTorch spectral_norm用法及代碼示例

本文簡要介紹python語言中 torch.nn.utils.parametrizations.spectral_norm 的用法。

用法:

torch.nn.utils.parametrizations.spectral_norm(module, name='weight', n_power_iterations=1, eps=1e-12, dim=None)

參數：

• module(torch.nn.Module) -包含模塊

• name(str,可選的) -權重參數的名稱。默認值："weight"。

• n_power_iterations(int,可選的) -計算頻譜範數的冪迭代次數。默認值：1。

• eps(float,可選的) -epsilon 用於計算範數時的數值穩定性。默認值：1e-12。

• dim(int,可選的) -對應於輸出數量的維度。默認值：0，除了作為 ConvTranspose{1,2,3}d 實例的模塊，當它是 1

返回：

具有注冊到指定權重的新參數化的原始模塊

將頻譜歸一化應用於給定模塊中的參數。

\mathbf{W}_{SN} = \dfrac{\mathbf{W}}{\sigma(\mathbf{W})}, \sigma(\mathbf{W}) = \max_{\mathbf{h}: \mathbf{h} \ne 0} \dfrac{\|\mathbf{W} \mathbf{h}\|_2}{\|\mathbf{h}\|_2}

當應用於向量時，它簡化為

\mathbf{x}_{SN} = \dfrac{\mathbf{x}}{\|\mathbf{x}\|_2}

譜歸一化通過降低模型的 Lipschitz 常數來穩定生成對抗網絡 (GAN) 中鑒別器(批評者)的訓練。每次訪問權重時，\sigma 近似執行一次 power method 迭代。如果權重張量的維數大於 2，則在冪迭代法中將其重塑為 2D 以獲得譜範數。

參看生成對抗網絡的頻譜歸一化.

注意

此函數是使用 register_parametrization() 中的參數化函數實現的。它是 torch.nn.utils.spectral_norm() 的重新實現。

注意

當這個約束被注冊時，與最大奇異值相關的奇異向量被估計而不是隨機采樣。然後，隻要在 training 模式下使用模塊訪問張量，就會更新執行 power method 的 n_power_iterations。

注意

如果 _SpectralNorm 模塊，即 module.parametrization.weight[idx] 在移除時處於訓練模式，它將執行另一次冪迭代。如果您想避免這種迭代，請在移除之前將模塊設置為 eval 模式。

例子：

>>> snm = spectral_norm(nn.Linear(20, 40))
>>> snm
ParametrizedLinear(
in_features=20, out_features=40, bias=True
(parametrizations): ModuleDict(
    (weight): ParametrizationList(
    (0): _SpectralNorm()
    )
)
)
>>> torch.linalg.matrix_norm(snm.weight, 2)
tensor(1.0000, grad_fn=<CopyBackwards>)