Python PyTorch BCELoss用法及代碼示例

本文簡要介紹python語言中 torch.nn.BCELoss 的用法。

用法:

class torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')

參數：

• weight(Tensor,可選的) -手動重新調整每個批次元素損失的權重。如果給定，則必須是大小為 nbatch 的張量。

• size_average(bool,可選的) -已棄用(請參閱reduction)。默認情況下，損失是批次中每個損失元素的平均值。請注意，對於某些損失，每個樣本有多個元素。如果字段 size_average 設置為 False ，則會對每個小批量的損失求和。當 reduce 為 False 時忽略。默認值：True

• reduce(bool,可選的) -已棄用(請參閱reduction)。默認情況下，根據 size_average 對每個小批量的觀察結果進行平均或求和。當 reduce 是 False 時，返回每個批次元素的損失並忽略 size_average 。默認值：True

• reduction(string,可選的) -指定要應用於輸出的縮減：'none' | 'mean' | 'sum' 。 'none' ：不應用減少，'mean'：輸出的總和將除以輸出中的元素數，'sum'：輸出將被求和。注意：size_average 和 reduce 正在被棄用，同時，指定這兩個參數中的任何一個都將覆蓋 reduction 。默認值：'mean'

創建一個衡量目標和輸入概率之間的二元交叉熵的標準：

未減少的(即 reduction 設置為 'none' )損失可以說明為：

\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right],

其中N 是批量大小。如果 reduction 不是 'none' (默認 'mean' )，那麽

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

這用於測量例如auto-encoder 中的重建誤差。請注意，目標 y 應該是 0 到 1 之間的數字。

請注意，如果 x_n 為 0 或 1，則上述損失方程中的對數項之一將在數學上未定義。 PyTorch 選擇設置 \log (0) = -\infty ，因為 \lim_{x\to 0} \log (x) = -\infty 。然而，由於幾個原因，損失方程中的無限項是不可取的。

一方麵，如果 y_n = 0 或 (1 - y_n) = 0 ，那麽我們將 0 乘以無窮大。其次，如果我們有一個無限的損失值，那麽我們的梯度中也會有一個無限項，因為 \lim_{x\to 0} \frac{d}{dx} \log (x) = \infty 。這將使 BCELoss 的後向方法相對於 x_n 是非線性的，並且將其用於線性回歸之類的事情不會是 straight-forward。

我們的解決方案是 BCELoss 將其日誌函數輸出鉗製為大於或等於 -100。這樣，我們總是可以有一個有限的損失值和一個線性後向方法。

形狀：

• 輸入： (*) ，其中 * 表示任意數量的維度。

• 目標：(*)，與輸入的形狀相同。

• 輸出：標量。如果 reduction 是 'none' ，那麽 (*) ，與輸入的形狀相同。

例子：

>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(m(input), target)
>>> output.backward()