Python PyTorch GELU用法及代码示例

本文简要介绍python语言中 torch.nn.GELU 的用法。

用法:

class torch.nn.GELU

应用高斯误差线性单位函数：

\text{GELU}(x) = x * \Phi(x)

其中\Phi(x) 是高斯分布的累积分布函数。

形状：

• 输入： (*) ，其中 * 表示任意数量的维度。

• 输出：(*)，与输入的形状相同。

例子：

>>> m = nn.GELU()
>>> input = torch.randn(2)
>>> output = m(input)