Python PyTorch xavier_uniform_用法及代碼示例

本文簡要介紹python語言中 torch.nn.init.xavier_uniform_ 的用法。

用法:

torch.nn.init.xavier_uniform_(tensor, gain=1.0)

參數：

• tensor-一個n維torch.Tensor

• gain-一個可選的比例因子

根據Understanding the difficulty of training deep feedforward neural networks - Glorot, X. & Bengio, Y. (2010) 中說明的方法，使用均勻分布用值填充輸入 Tensor。生成的張量將具有從 \mathcal{U}(-a, a) 采樣的值，其中

a = \text{gain} \times \sqrt{\frac{6}{\text{fan\_in} + \text{fan\_out}}}

也稱為 Glorot 初始化。

例子

>>> w = torch.empty(3, 5)
>>> nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))