Python PyTorch BCELoss用法及代码示例

本文简要介绍python语言中 torch.nn.BCELoss 的用法。

用法:

class torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')

参数：

• weight(Tensor,可选的) -手动重新调整每个批次元素损失的权重。如果给定，则必须是大小为 nbatch 的张量。

• size_average(bool,可选的) -已弃用(请参阅reduction)。默认情况下，损失是批次中每个损失元素的平均值。请注意，对于某些损失，每个样本有多个元素。如果字段 size_average 设置为 False ，则会对每个小批量的损失求和。当 reduce 为 False 时忽略。默认值：True

• reduce(bool,可选的) -已弃用(请参阅reduction)。默认情况下，根据 size_average 对每个小批量的观察结果进行平均或求和。当 reduce 是 False 时，返回每个批次元素的损失并忽略 size_average 。默认值：True

• reduction(string,可选的) -指定要应用于输出的缩减：'none' | 'mean' | 'sum' 。 'none' ：不应用减少，'mean'：输出的总和将除以输出中的元素数，'sum'：输出将被求和。注意：size_average 和 reduce 正在被弃用，同时，指定这两个参数中的任何一个都将覆盖 reduction 。默认值：'mean'

创建一个衡量目标和输入概率之间的二元交叉熵的标准：

未减少的(即 reduction 设置为 'none' )损失可以说明为：

\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right],

其中N 是批量大小。如果 reduction 不是 'none' (默认 'mean' )，那么

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

这用于测量例如auto-encoder 中的重建误差。请注意，目标 y 应该是 0 到 1 之间的数字。

请注意，如果 x_n 为 0 或 1，则上述损失方程中的对数项之一将在数学上未定义。 PyTorch 选择设置 \log (0) = -\infty ，因为 \lim_{x\to 0} \log (x) = -\infty 。然而，由于几个原因，损失方程中的无限项是不可取的。

一方面，如果 y_n = 0 或 (1 - y_n) = 0 ，那么我们将 0 乘以无穷大。其次，如果我们有一个无限的损失值，那么我们的梯度中也会有一个无限项，因为 \lim_{x\to 0} \frac{d}{dx} \log (x) = \infty 。这将使 BCELoss 的后向方法相对于 x_n 是非线性的，并且将其用于线性回归之类的事情不会是 straight-forward。

我们的解决方案是 BCELoss 将其日志函数输出钳制为大于或等于 -100。这样，我们总是可以有一个有限的损失值和一个线性后向方法。

形状：

• 输入： (*) ，其中 * 表示任意数量的维度。

• 目标：(*)，与输入的形状相同。

• 输出：标量。如果 reduction 是 'none' ，那么 (*) ，与输入的形状相同。

例子：

>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(m(input), target)
>>> output.backward()