Python PyTorch SELU用法及代碼示例

本文簡要介紹python語言中 torch.nn.SELU 的用法。

用法:

class torch.nn.SELU(inplace=False)

參數：

inplace(bool,可選的) -可以選擇就地執行操作。默認值：False

按元素應用，如：

\text{SELU}(x) = \text{scale} * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))

與 \alpha = 1.6732632423543772848170429916717 和 \text{scale} = 1.0507009873554804934193349852946 。

警告

使用 kaiming_normal 或 kaiming_normal_ 進行初始化時，應使用 nonlinearity='linear' 而不是 nonlinearity='selu' 以獲得 Self-Normalizing Neural Networks 。有關詳細信息，請參閱 torch.nn.init.calculate_gain() 。

更多細節可以在論文Self-Normalizing Neural Networks 中找到。

形狀：

• 輸入： (*) ，其中 * 表示任意數量的維度。

• 輸出：(*)，與輸入的形狀相同。

例子：

>>> m = nn.SELU()
>>> input = torch.randn(2)
>>> output = m(input)