Python PyTorch RReLU用法及代碼示例

本文簡要介紹python語言中 torch.nn.RReLU 的用法。

用法:

class torch.nn.RReLU(lower=0.125, upper=0.3333333333333333, inplace=False)

參數：

• lower-均勻分布的下界。默認值：\frac{1}{8}

• upper-均勻分布的上限。默認值：\frac{1}{3}

• inplace-可以選擇就地執行操作。默認值：False

如本文所述，按元素應用隨機泄漏整流線性單元函數：

卷積網絡中整流激活的經驗評估.

函數定義為：

\text{RReLU}(x) = \begin{cases} x & \text{if } x \geq 0 \\ ax & \text{ otherwise } \end{cases}

其中 a 是從均勻分布 \mathcal{U}(\text{lower}, \text{upper}) 中隨機采樣的。

見：https://arxiv.org/pdf/1505.00853.pdf

形狀：

• 輸入： (*) ，其中 * 表示任意數量的維度。

• 輸出：(*)，與輸入的形狀相同。

例子：

>>> m = nn.RReLU(0.1, 0.3)
>>> input = torch.randn(2)
>>> output = m(input)