Python PyTorch Softplus用法及代碼示例

本文簡要介紹python語言中 torch.nn.Softplus 的用法。

用法:

class torch.nn.Softplus(beta=1, threshold=20)

參數：

• beta-Softplus 配方的\beta 值。默認值：1

• threshold-高於此值的值恢複為線性函數。默認值：20

應用逐元素函數：

\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))

SoftPlus 是ReLU 函數的平滑近似，可用於將機器的輸出約束為始終為正。

為了數值穩定性，實現在 input \times \beta > threshold 時恢複為線性函數。

形狀：

• 輸入： (*) ，其中 * 表示任意數量的維度。

• 輸出：(*)，與輸入的形狀相同。

例子：

>>> m = nn.Softplus()
>>> input = torch.randn(2)
>>> output = m(input)