Python PyTorch BCEWithLogitsLoss用法及代碼示例

本文簡要介紹python語言中 torch.nn.BCEWithLogitsLoss 的用法。

用法:

class torch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='mean', pos_weight=None)

參數：

• weight(Tensor,可選的) -手動重新調整每個批次元素損失的權重。如果給定，則必須是大小為 nbatch 的張量。

• size_average(bool,可選的) -已棄用(請參閱reduction)。默認情況下，損失是批次中每個損失元素的平均值。請注意，對於某些損失，每個樣本有多個元素。如果字段 size_average 設置為 False ，則會對每個小批量的損失求和。當 reduce 為 False 時忽略。默認值：True

• reduce(bool,可選的) -已棄用(請參閱reduction)。默認情況下，根據 size_average 對每個小批量的觀察結果進行平均或求和。當 reduce 是 False 時，返回每個批次元素的損失並忽略 size_average 。默認值：True

• reduction(string,可選的) -指定要應用於輸出的縮減：'none' | 'mean' | 'sum' 。 'none' ：不應用減少，'mean'：輸出的總和將除以輸出中的元素數，'sum'：輸出將被求和。注意：size_average 和 reduce 正在被棄用，同時，指定這兩個參數中的任何一個都將覆蓋 reduction 。默認值：'mean'

• pos_weight(Tensor,可選的) -大量的正麵例子。必須是長度等於類數的向量。

這種損失將Sigmoid 層和BCELoss 組合在一個類中。這個版本比使用簡單的 Sigmoid 後跟 BCELoss 在數值上更穩定，因為通過將操作組合到一層，我們利用 log-sum-exp 技巧來實現數值穩定性。

未減少的(即 reduction 設置為 'none' )損失可以說明為：

\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log \sigma(x_n) + (1 - y_n) \cdot \log (1 - \sigma(x_n)) \right],

其中N 是批量大小。如果 reduction 不是 'none' (默認 'mean' )，那麽

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

這用於測量例如auto-encoder 中的重建誤差。請注意，目標 t[i] 應該是 0 到 1 之間的數字。

可以通過向正例添加權重來權衡召回率和精度。在多標簽分類的情況下，損失可以說明為：

\ell_c(x, y) = L_c = \{l_{1,c},\dots,l_{N,c}\}^\top, \quad l_{n,c} = - w_{n,c} \left[ p_c y_{n,c} \cdot \log \sigma(x_{n,c}) + (1 - y_{n,c}) \cdot \log (1 - \sigma(x_{n,c})) \right],

其中c是類號(c > 1用於多標簽二分類，c = 1用於single-label二分類)，n是批次中的樣本數，p_c是權重c 類的肯定答案。

p_c > 1 提高召回率，p_c < 1 提高精度。

例如，如果數據集包含單個類的 100 個正樣本和 300 個負樣本，則該類的 pos_weight 應該等於 \frac{300}{100}=3 。損失將表現為數據集包含3\times 100=300 正例。

例子：

>>> target = torch.ones([10, 64], dtype=torch.float32)  # 64 classes, batch size = 10
>>> output = torch.full([10, 64], 1.5)  # A prediction (logit)
>>> pos_weight = torch.ones([64])  # All weights are equal to 1
>>> criterion = torch.nn.BCEWithLogitsLoss(pos_weight=pos_weight)
>>> criterion(output, target)  # -log(sigmoid(1.5))
tensor(0.2014)

形狀：

• 輸入： (*) ，其中 * 表示任意數量的維度。

• 目標：(*)，與輸入的形狀相同。

• 輸出：標量。如果 reduction 是 'none' ，那麽 (*) ，與輸入的形狀相同。

例子：

>>> loss = nn.BCEWithLogitsLoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(input, target)
>>> output.backward()