Python PyTorch calculate_gain用法及代码示例

本文简要介绍python语言中 torch.nn.init.calculate_gain 的用法。

用法:

torch.nn.init.calculate_gain(nonlinearity, param=None)

参数：

• nonlinearity-非线性函数(nn.functional 名称)

• param-非线性函数的可选参数

返回给定非线性函数的推荐增益值。值如下：

非线性	获得
线性/身份	1
转化{1,2,3}天	1
Sigmoid	1
Tanh	\frac{5}{3}
ReLU	\sqrt{2}
泄漏的 Relu	\sqrt{\frac{2}{1 + \text{negative\_slope}^2}}
SELU	\frac{3}{4}

警告

为了实现 Self-Normalizing Neural Networks ，您应该使用 nonlinearity='linear' 而不是 nonlinearity='selu' 。这使初始权重的方差为 1 / N ，这是在前向传播中引入稳定不动点所必需的。相比之下，SELU 的默认增益牺牲了归一化效果，以在矩形层中获得更稳定的梯度流。

例子

>>> gain = nn.init.calculate_gain('leaky_relu', 0.2)  # leaky_relu with negative_slope=0.2