Python PyTorch PReLU用法及代码示例

本文简要介绍python语言中 torch.nn.PReLU 的用法。

用法:

class torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None)

参数：

• num_parameters(int) -要学习的a 的数量。虽然它需要 int 作为输入，但只有两个值是合法的：1，或输入的通道数。默认值：1

• init(float) -a 的初始值。默认值：0.25

变量：

~PReLU.weight(Tensor) -形状的可学习权重(num_parameters)。

应用逐元素函数：

\text{PReLU}(x) = \max(0,x) + a * \min(0,x)

或者

\text{PReLU}(x) = \begin{cases} x, & \text{ if } x \geq 0 \\ ax, & \text{ otherwise } \end{cases}

这里a 是一个可学习的参数。当不带参数调用时，nn.PReLU() 在所有输入通道中使用单个参数 a。如果使用 nn.PReLU(nChannels) 调用，则每个输入通道使用单独的 a。

注意

在学习 a 以获得良好性能时，不应使用权重衰减。

注意

通道 dim 是输入的第二个 dim。当输入的 dims < 2 时，则没有通道 dim 并且通道数 = 1。

形状：

• 输入：( *) 其中 * 表示任意数量的附加维度。

• 输出：(*)，与输入的形状相同。

例子：

>>> m = nn.PReLU()
>>> input = torch.randn(2)
>>> output = m(input)