Python PyTorch PReLU用法及代碼示例

本文簡要介紹python語言中 torch.nn.PReLU 的用法。

用法:

class torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None)

參數：

• num_parameters(int) -要學習的a 的數量。雖然它需要 int 作為輸入，但隻有兩個值是合法的：1，或輸入的通道數。默認值：1

• init(float) -a 的初始值。默認值：0.25

變量：

~PReLU.weight(Tensor) -形狀的可學習權重(num_parameters)。

應用逐元素函數：

\text{PReLU}(x) = \max(0,x) + a * \min(0,x)

或者

\text{PReLU}(x) = \begin{cases} x, & \text{ if } x \geq 0 \\ ax, & \text{ otherwise } \end{cases}

這裏a 是一個可學習的參數。當不帶參數調用時，nn.PReLU() 在所有輸入通道中使用單個參數 a。如果使用 nn.PReLU(nChannels) 調用，則每個輸入通道使用單獨的 a。

注意

在學習 a 以獲得良好性能時，不應使用權重衰減。

注意

通道 dim 是輸入的第二個 dim。當輸入的 dims < 2 時，則沒有通道 dim 並且通道數 = 1。

形狀：

• 輸入：( *) 其中 * 表示任意數量的附加維度。

• 輸出：(*)，與輸入的形狀相同。

例子：

>>> m = nn.PReLU()
>>> input = torch.randn(2)
>>> output = m(input)