Python PyTorch xavier_uniform_用法及代码示例

本文简要介绍python语言中 torch.nn.init.xavier_uniform_ 的用法。

用法:

torch.nn.init.xavier_uniform_(tensor, gain=1.0)

参数：

• tensor-一个n维torch.Tensor

• gain-一个可选的比例因子

根据Understanding the difficulty of training deep feedforward neural networks - Glorot, X. & Bengio, Y. (2010) 中说明的方法，使用均匀分布用值填充输入 Tensor。生成的张量将具有从 \mathcal{U}(-a, a) 采样的值，其中

a = \text{gain} \times \sqrt{\frac{6}{\text{fan\_in} + \text{fan\_out}}}

也称为 Glorot 初始化。

例子

>>> w = torch.empty(3, 5)
>>> nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))