Python PyTorch ReLU用法及代码示例

本文简要介绍python语言中 torch.nn.ReLU 的用法。

用法:

class torch.nn.ReLU(inplace=False)

参数：

inplace-可以选择就地执行操作。默认值：False

逐元素应用整流线性单位函数：

\text{ReLU}(x) = (x)^+ = \max(0, x)

形状：

• 输入： (*) ，其中 * 表示任意数量的维度。

• 输出：(*)，与输入的形状相同。

例子：

>>> m = nn.ReLU()
  >>> input = torch.randn(2)
  >>> output = m(input)


An implementation of CReLU - https://arxiv.org/abs/1603.05201

  >>> m = nn.ReLU()
  >>> input = torch.randn(2).unsqueeze(0)
  >>> output = torch.cat((m(input),m(-input)))