Python PyTorch kaiming_normal_用法及代碼示例

本文簡要介紹python語言中 torch.nn.init.kaiming_normal_ 的用法。

用法:

torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

參數：

• tensor-一個n維torch.Tensor

• a-此層之後使用的整流器的負斜率(僅與 'leaky_relu' 一起使用)

• mode-'fan_in'(默認)或 'fan_out' 。選擇'fan_in' 會保留前向傳遞中權重的方差大小。選擇'fan_out' 會保留反向傳播中的幅度。

• nonlinearity-非線性函數(nn.functional 名稱)，建議僅與 'relu' 或 'leaky_relu'(默認)一起使用。

根據Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification - He, K. et al.中說明的方法用值填充輸入Tensor。 (2015)，使用正態分布。生成的張量將具有從 \mathcal{N}(0, \text{std}^2) 采樣的值，其中

\text{std} = \frac{\text{gain}}{\sqrt{\text{fan\_mode}}}

也稱為 He 初始化。

例子

>>> w = torch.empty(3, 5)
>>> nn.init.kaiming_normal_(w, mode='fan_out', nonlinearity='relu')