Python PyTorch SiLU用法及代碼示例

本文簡要介紹python語言中 torch.nn.SiLU 的用法。

用法:

class torch.nn.SiLU(inplace=False)

逐元素應用 Sigmoid 線性單元 (SiLU) 函數。 SiLU 函數也稱為 swish 函數。

\text{silu}(x) = x * \sigma(x), \text{where } \sigma(x) \text{ is the logistic sigmoid.}

注意

參看高斯誤差線性單位 (GELU)SiLU(Sigmoid 線性單元)最初是在哪裏創造的，請參閱Sigmoid-Weighted 強化學習中神經網絡函數逼近的線性單元和Swish：Self-Gated 激活函數稍後對 SiLU 進行了實驗。

形狀：

• 輸入： (*) ，其中 * 表示任意數量的維度。

• 輸出：(*)，與輸入的形狀相同。

例子：

>>> m = nn.SiLU()
>>> input = torch.randn(2)
>>> output = m(input)