Python PyTorch Softplus用法及代码示例

本文简要介绍python语言中 torch.nn.Softplus 的用法。

用法:

class torch.nn.Softplus(beta=1, threshold=20)

参数：

• beta-Softplus 配方的\beta 值。默认值：1

• threshold-高于此值的值恢复为线性函数。默认值：20

应用逐元素函数：

\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))

SoftPlus 是ReLU 函数的平滑近似，可用于将机器的输出约束为始终为正。

为了数值稳定性，实现在 input \times \beta > threshold 时恢复为线性函数。

形状：

• 输入： (*) ，其中 * 表示任意数量的维度。

• 输出：(*)，与输入的形状相同。

例子：

>>> m = nn.Softplus()
>>> input = torch.randn(2)
>>> output = m(input)