Python PyTorch kaiming_uniform_用法及代码示例

本文简要介绍python语言中 torch.nn.init.kaiming_uniform_ 的用法。

用法:

torch.nn.init.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

参数：

• tensor-一个n维torch.Tensor

• a-此层之后使用的整流器的负斜率(仅与 'leaky_relu' 一起使用)

• mode-'fan_in'(默认)或 'fan_out' 。选择'fan_in' 会保留前向传递中权重的方差大小。选择'fan_out' 会保留反向传播中的幅度。

• nonlinearity-非线性函数(nn.functional 名称)，建议仅与 'relu' 或 'leaky_relu'(默认)一起使用。

根据Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification - He, K. et al.中说明的方法用值填充输入Tensor。 (2015)，使用均匀分布。生成的张量将具有从 \mathcal{U}(-\text{bound}, \text{bound}) 采样的值，其中

\text{bound} = \text{gain} \times \sqrt{\frac{3}{\text{fan\_mode}}}

也称为 He 初始化。

例子

>>> w = torch.empty(3, 5)
>>> nn.init.kaiming_uniform_(w, mode='fan_in', nonlinearity='relu')