Python PyTorch CrossEntropyLoss用法及代碼示例

本文簡要介紹python語言中 torch.nn.CrossEntropyLoss 的用法。

用法:

class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean', label_smoothing=0.0)

參數：

• weight(Tensor,可選的) -給每個類一個手動重新調整的權重。如果給定，則必須是大小為 C 的張量

• size_average(bool,可選的) -已棄用(請參閱reduction)。默認情況下，損失是批次中每個損失元素的平均值。請注意，對於某些損失，每個樣本有多個元素。如果字段 size_average 設置為 False ，則會對每個小批量的損失求和。當 reduce 為 False 時忽略。默認值：True

• ignore_index(int,可選的) -指定一個被忽略且不影響輸入梯度的目標值。當 size_average 為 True 時，損失是在非忽略目標上的平均值。請注意，ignore_index 僅在目標包含類索引時適用。

• reduce(bool,可選的) -已棄用(請參閱reduction)。默認情況下，根據 size_average 對每個小批量的觀察結果進行平均或求和。當 reduce 是 False 時，返回每個批次元素的損失並忽略 size_average 。默認值：True

• reduction(string,可選的) -指定要應用於輸出的縮減：'none' | 'mean' | 'sum' 。 'none' ：不應用減少，'mean'：取輸出的加權平均值，'sum'：輸出將被求和。注意：size_average 和 reduce 正在被棄用，同時，指定這兩個參數中的任何一個都將覆蓋 reduction 。默認值：'mean'

• label_smoothing(float,可選的) -[0.0, 1.0] 中的浮點數。指定計算損失時的平滑量，其中 0.0 表示不平滑。目標成為原始基本事實和均勻分布的混合體，如 Rethinking the Inception Architecture for Computer Vision 中所述。默認值：0.0。

該標準計算輸入和目標之間的交叉熵損失。

在使用C 類訓練分類問題時很有用。如果提供，可選參數weight 應該是一維Tensor，為每個類分配權重。當你有一個不平衡的訓練集時，這特別有用。

input 預計將包含每個類的原始未標準化分數。 input 必須是大小為 (minibatch, C) 或 (minibatch, C, d_1, d_2, ..., d_K) 的張量，對於 K 維情況，K \geq 1。後者對於更高維度的輸入很有用，例如計算 2D 圖像的交叉熵損失 per-pixel。

此標準預期的 target 應包含：

• [0, C-1] 範圍內的類索引，其中 C 是類數；如果指定了ignore_index，這個損失也接受這個類索引(這個索引可能不一定在類範圍內)。這種情況下未減少的(即 reduction 設置為 'none' )損失可以說明為：

  \ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_{y_n} \log \frac{\exp(x_{n,y_n})}{\sum_{c=1}^C \exp(x_{n,c})} \cdot \mathbb{1}\{y_n \not= \text{ignore\_index}\}

  其中x是輸入，y是目標，w是權重，C是類數，N跨越小批量維度以及K的d_1, ..., d_k維案例。如果 reduction 不是 'none' (默認 'mean' )，那麽

  \ell(x, y) = \begin{cases} \sum_{n=1}^N \frac{1}{\sum_{n=1}^N w_{y_n} \cdot \mathbb{1}\{y_n \not= \text{ignore\_index}\}} l_n, & \text{if reduction} = \text{`mean';}\\ \sum_{n=1}^N l_n, & \text{if reduction} = \text{`sum'.} \end{cases}

  請注意，這種情況等效於 LogSoftmax 和 NLLLoss 的組合。

• 每個類別的概率；當每個小批量項目需要超過單個類的標簽時很有用，例如混合標簽、標簽平滑等。這種情況下未減少的(即 reduction 設置為 'none' )損失可以說明為：

  \ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - \sum_{c=1}^C w_c \log \frac{\exp(x_{n,c})}{\exp(\sum_{i=1}^C x_{n,i})} y_{n,c}

  其中x是輸入，y是目標，w是權重，C是類數，N跨越小批量維度以及K的d_1, ..., d_k維案例。如果 reduction 不是 'none' (默認 'mean' )，那麽

  \ell(x, y) = \begin{cases} \frac{\sum_{n=1}^N l_n}{N}, & \text{if reduction} = \text{`mean';}\\ \sum_{n=1}^N l_n, & \text{if reduction} = \text{`sum'.} \end{cases}

注意

當target 包含類索引時，此標準的性能通常更好，因為這允許優化計算。僅當每個小批量項目的單個類標簽過於嚴格時，才考慮提供 target 作為類概率。

形狀：

• 輸入：(N, C) 其中 C = number of classes 或 (N, C, d_1, d_2, ..., d_K) 與 K \geq 1 在 K 維損失的情況下。

• 目標：如果包含類索引，則形狀為 (N)，其中每個值為 0 \leq \text{targets}[i] \leq C-1 ，或者在 K-dimensional 丟失的情況下為 (N, d_1, d_2, ..., d_K) 和 K \geq 1。如果包含類概率，則與輸入的形狀相同。

• 輸出：如果 reduction 是 'none' ，則在 K-dimensional 丟失的情況下使用 K \geq 1 形狀 (N) 或 (N, d_1, d_2, ..., d_K)。否則，標量。

例子：

>>> # Example of target with class indices
>>> loss = nn.CrossEntropyLoss()
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.empty(3, dtype=torch.long).random_(5)
>>> output = loss(input, target)
>>> output.backward()
>>>
>>> # Example of target with class probabilities
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.randn(3, 5).softmax(dim=1)
>>> output = loss(input, target)
>>> output.backward()