当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python PyTorch SiLU用法及代码示例


本文简要介绍python语言中 torch.nn.SiLU 的用法。

用法:

class torch.nn.SiLU(inplace=False)

逐元素应用 Sigmoid 线性单元 (SiLU) 函数。 SiLU 函数也称为 swish 函数。

注意

参看高斯误差线性单位 (GELU)SiLU(Sigmoid 线性单元)最初是在哪里创造的,请参阅Sigmoid-Weighted 强化学习中神经网络函数逼近的线性单元Swish:Self-Gated 激活函数稍后对 SiLU 进行了实验。

形状:
  • 输入: ,其中 表示任意数量的维度。

  • 输出: ,与输入的形状相同。

例子:

>>> m = nn.SiLU()
>>> input = torch.randn(2)
>>> output = m(input)

相关用法


注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.nn.SiLU。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。