Python PyTorch NLLLoss用法及代碼示例

本文簡要介紹python語言中 torch.nn.NLLLoss 的用法。

用法:

class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean')

參數：

• weight(Tensor,可選的) -給每個類一個手動重新調整的權重。如果給定，它必須是大小為 C 的張量。否則，它被視為擁有所有的。

• size_average(bool,可選的) -已棄用(請參閱reduction)。默認情況下，損失是批次中每個損失元素的平均值。請注意，對於某些損失，每個樣本有多個元素。如果字段 size_average 設置為 False ，則會對每個小批量的損失求和。當 reduce 為 False 時忽略。默認值：True

• ignore_index(int,可選的) -指定一個被忽略且不影響輸入梯度的目標值。當 size_average 為 True 時，損失是在非忽略目標上的平均值。

• reduce(bool,可選的) -已棄用(請參閱reduction)。默認情況下，根據 size_average 對每個小批量的觀察結果進行平均或求和。當 reduce 是 False 時，返回每個批次元素的損失並忽略 size_average 。默認值：True

• reduction(string,可選的) -指定要應用於輸出的縮減：'none' | 'mean' | 'sum' 。 'none' ：不應用減少，'mean'：取輸出的加權平均值，'sum'：輸出將被求和。注意：size_average 和 reduce 正在被棄用，同時，指定這兩個參數中的任何一個都將覆蓋 reduction 。默認值：'mean'

負對數似然損失。用C 類訓練分類問題很有用。

如果提供，可選參數 weight 應該是一維張量，為每個類分配權重。當你有一個不平衡的訓練集時，這特別有用。

通過前向調用給出的input 預計將包含每個類的log-probabilities。 input 必須是大小為 (minibatch, C) 或 (minibatch, C, d_1, d_2, ..., d_K) 的張量，對於 K 維情況，K \geq 1。後者對於更高維度的輸入很有用，例如為 2D 圖像計算 NLL 損失 per-pixel。

通過在網絡的最後一層添加 LogSoftmax 層，可以輕鬆地在神經網絡中獲得 log-probabilities。如果您不想添加額外的圖層，您可以改用CrossEntropyLoss。

此損失預期的 target 應該是 [0, C-1] 範圍內的類索引，其中 C = number of classes ；如果指定了ignore_index，這個損失也接受這個類索引(這個索引可能不一定在類範圍內)。

未減少的(即 reduction 設置為 'none' )損失可以說明為：

\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_{y_n} x_{n,y_n}, \quad w_{c} = \text{weight}[c] \cdot \mathbb{1}\{c \not= \text{ignore\_index}\},

其中x是輸入，y是目標，w是權重，N是批量大小。如果 reduction 不是 'none' (默認 'mean' )，那麽

\ell(x, y) = \begin{cases} \sum_{n=1}^N \frac{1}{\sum_{n=1}^N w_{y_n}} l_n, & \text{if reduction} = \text{`mean';}\\ \sum_{n=1}^N l_n, & \text{if reduction} = \text{`sum'.} \end{cases}

形狀：

• 輸入：(N, C) 或 (C) ，其中 C = number of classes 或 (N, C, d_1, d_2, ..., d_K) 與 K \geq 1 在 K 維損失的情況下。

• 目標：(N) 或 () ，其中每個值為 0 \leq \text{targets}[i] \leq C-1 ，或在 K-dimensional 丟失的情況下為 (N, d_1, d_2, ..., d_K) 和 K \geq 1。

• 輸出：如果 reduction 是 'none' ，則在 K-dimensional 丟失的情況下使用 K \geq 1 形狀 (N) 或 (N, d_1, d_2, ..., d_K)。否則，標量。

例子：

>>> m = nn.LogSoftmax(dim=1)
>>> loss = nn.NLLLoss()
>>> # input is of size N x C = 3 x 5
>>> input = torch.randn(3, 5, requires_grad=True)
>>> # each element in target has to have 0 <= value < C
>>> target = torch.tensor([1, 0, 4])
>>> output = loss(m(input), target)
>>> output.backward()
>>>
>>>
>>> # 2D loss example (used, for example, with image inputs)
>>> N, C = 5, 4
>>> loss = nn.NLLLoss()
>>> # input is of size N x C x height x width
>>> data = torch.randn(N, 16, 10, 10)
>>> conv = nn.Conv2d(16, C, (3, 3))
>>> m = nn.LogSoftmax(dim=1)
>>> # each element in target has to have 0 <= value < C
>>> target = torch.empty(N, 8, 8, dtype=torch.long).random_(0, C)
>>> output = loss(m(conv(data)), target)
>>> output.backward()