Python PyTorch kaiming_normal_用法及代码示例

本文简要介绍python语言中 torch.nn.init.kaiming_normal_ 的用法。

用法:

torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

参数：

• tensor-一个n维torch.Tensor

• a-此层之后使用的整流器的负斜率(仅与 'leaky_relu' 一起使用)

• mode-'fan_in'(默认)或 'fan_out' 。选择'fan_in' 会保留前向传递中权重的方差大小。选择'fan_out' 会保留反向传播中的幅度。

• nonlinearity-非线性函数(nn.functional 名称)，建议仅与 'relu' 或 'leaky_relu'(默认)一起使用。

根据Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification - He, K. et al.中说明的方法用值填充输入Tensor。 (2015)，使用正态分布。生成的张量将具有从 \mathcal{N}(0, \text{std}^2) 采样的值，其中

\text{std} = \frac{\text{gain}}{\sqrt{\text{fan\_mode}}}

也称为 He 初始化。

例子

>>> w = torch.empty(3, 5)
>>> nn.init.kaiming_normal_(w, mode='fan_out', nonlinearity='relu')