Python PyTorch GELU用法及代碼示例

本文簡要介紹python語言中 torch.nn.GELU 的用法。

用法:

class torch.nn.GELU

應用高斯誤差線性單位函數：

\text{GELU}(x) = x * \Phi(x)

其中\Phi(x) 是高斯分布的累積分布函數。

形狀：

• 輸入： (*) ，其中 * 表示任意數量的維度。

• 輸出：(*)，與輸入的形狀相同。

例子：

>>> m = nn.GELU()
>>> input = torch.randn(2)
>>> output = m(input)