Python PyTorch ReLU用法及代碼示例

本文簡要介紹python語言中 torch.nn.ReLU 的用法。

用法:

class torch.nn.ReLU(inplace=False)

參數：

inplace-可以選擇就地執行操作。默認值：False

逐元素應用整流線性單位函數：

\text{ReLU}(x) = (x)^+ = \max(0, x)

形狀：

• 輸入： (*) ，其中 * 表示任意數量的維度。

• 輸出：(*)，與輸入的形狀相同。

例子：

>>> m = nn.ReLU()
  >>> input = torch.randn(2)
  >>> output = m(input)


An implementation of CReLU - https://arxiv.org/abs/1603.05201

  >>> m = nn.ReLU()
  >>> input = torch.randn(2).unsqueeze(0)
  >>> output = torch.cat((m(input),m(-input)))