Python PyTorch RReLU用法及代码示例

本文简要介绍python语言中 torch.nn.RReLU 的用法。

用法:

class torch.nn.RReLU(lower=0.125, upper=0.3333333333333333, inplace=False)

参数：

• lower-均匀分布的下界。默认值：\frac{1}{8}

• upper-均匀分布的上限。默认值：\frac{1}{3}

• inplace-可以选择就地执行操作。默认值：False

如本文所述，按元素应用随机泄漏整流线性单元函数：

卷积网络中整流激活的经验评估.

函数定义为：

\text{RReLU}(x) = \begin{cases} x & \text{if } x \geq 0 \\ ax & \text{ otherwise } \end{cases}

其中 a 是从均匀分布 \mathcal{U}(\text{lower}, \text{upper}) 中随机采样的。

见：https://arxiv.org/pdf/1505.00853.pdf

形状：

• 输入： (*) ，其中 * 表示任意数量的维度。

• 输出：(*)，与输入的形状相同。

例子：

>>> m = nn.RReLU(0.1, 0.3)
>>> input = torch.randn(2)
>>> output = m(input)