Python PyTorch xavier_normal_用法及代码示例

本文简要介绍python语言中 torch.nn.init.xavier_normal_ 的用法。

用法:

torch.nn.init.xavier_normal_(tensor, gain=1.0)

参数：

• tensor-一个n维torch.Tensor

• gain-一个可选的比例因子

根据Understanding the difficulty of training deep feedforward neural networks - Glorot, X. & Bengio, Y. (2010) 中说明的方法，使用正态分布用值填充输入 Tensor。生成的张量将具有从 \mathcal{N}(0, \text{std}^2) 采样的值，其中

\text{std} = \text{gain} \times \sqrt{\frac{2}{\text{fan\_in} + \text{fan\_out}}}

也称为 Glorot 初始化。

例子

>>> w = torch.empty(3, 5)
>>> nn.init.xavier_normal_(w)