当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python PyTorch calculate_gain用法及代码示例


本文简要介绍python语言中 torch.nn.init.calculate_gain 的用法。

用法:

torch.nn.init.calculate_gain(nonlinearity, param=None)

参数

  • nonlinearity-非线性函数(nn.functional 名称)

  • param-非线性函数的可选参数

返回给定非线性函数的推荐增益值。值如下:

非线性

获得

线性/身份

转化{1,2,3}天

Sigmoid

Tanh

\frac{5}{3}

ReLU

\sqrt{2}

泄漏的 Relu

\sqrt{\frac{2}{1 + \text{negative\_slope}^2}}

SELU

\frac{3}{4}

警告

为了实现 Self-Normalizing Neural Networks ,您应该使用 nonlinearity='linear' 而不是 nonlinearity='selu' 。这使初始权重的方差为 1 / N ,这是在前向传播中引入稳定不动点所必需的。相比之下,SELU 的默认增益牺牲了归一化效果,以在矩形层中获得更稳定的梯度流。

例子

>>> gain = nn.init.calculate_gain('leaky_relu', 0.2)  # leaky_relu with negative_slope=0.2

相关用法


注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.nn.init.calculate_gain。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。