Python PyTorch SiLU用法及代码示例

本文简要介绍python语言中 torch.nn.SiLU 的用法。

用法:

class torch.nn.SiLU(inplace=False)

逐元素应用 Sigmoid 线性单元 (SiLU) 函数。 SiLU 函数也称为 swish 函数。

\text{silu}(x) = x * \sigma(x), \text{where } \sigma(x) \text{ is the logistic sigmoid.}

注意

参看高斯误差线性单位 (GELU)SiLU(Sigmoid 线性单元)最初是在哪里创造的，请参阅Sigmoid-Weighted 强化学习中神经网络函数逼近的线性单元和Swish：Self-Gated 激活函数稍后对 SiLU 进行了实验。

形状：

• 输入： (*) ，其中 * 表示任意数量的维度。

• 输出：(*)，与输入的形状相同。

例子：

>>> m = nn.SiLU()
>>> input = torch.randn(2)
>>> output = m(input)