Python PyTorch SELU用法及代码示例

本文简要介绍python语言中 torch.nn.SELU 的用法。

用法:

class torch.nn.SELU(inplace=False)

参数：

inplace(bool,可选的) -可以选择就地执行操作。默认值：False

按元素应用，如：

\text{SELU}(x) = \text{scale} * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))

与 \alpha = 1.6732632423543772848170429916717 和 \text{scale} = 1.0507009873554804934193349852946 。

警告

使用 kaiming_normal 或 kaiming_normal_ 进行初始化时，应使用 nonlinearity='linear' 而不是 nonlinearity='selu' 以获得 Self-Normalizing Neural Networks 。有关详细信息，请参阅 torch.nn.init.calculate_gain() 。

更多细节可以在论文Self-Normalizing Neural Networks 中找到。

形状：

• 输入： (*) ，其中 * 表示任意数量的维度。

• 输出：(*)，与输入的形状相同。

例子：

>>> m = nn.SELU()
>>> input = torch.randn(2)
>>> output = m(input)