Python PyTorch BCEWithLogitsLoss用法及代码示例

本文简要介绍python语言中 torch.nn.BCEWithLogitsLoss 的用法。

用法:

class torch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='mean', pos_weight=None)

参数：

• weight(Tensor,可选的) -手动重新调整每个批次元素损失的权重。如果给定，则必须是大小为 nbatch 的张量。

• size_average(bool,可选的) -已弃用(请参阅reduction)。默认情况下，损失是批次中每个损失元素的平均值。请注意，对于某些损失，每个样本有多个元素。如果字段 size_average 设置为 False ，则会对每个小批量的损失求和。当 reduce 为 False 时忽略。默认值：True

• reduce(bool,可选的) -已弃用(请参阅reduction)。默认情况下，根据 size_average 对每个小批量的观察结果进行平均或求和。当 reduce 是 False 时，返回每个批次元素的损失并忽略 size_average 。默认值：True

• reduction(string,可选的) -指定要应用于输出的缩减：'none' | 'mean' | 'sum' 。 'none' ：不应用减少，'mean'：输出的总和将除以输出中的元素数，'sum'：输出将被求和。注意：size_average 和 reduce 正在被弃用，同时，指定这两个参数中的任何一个都将覆盖 reduction 。默认值：'mean'

• pos_weight(Tensor,可选的) -大量的正面例子。必须是长度等于类数的向量。

这种损失将Sigmoid 层和BCELoss 组合在一个类中。这个版本比使用简单的 Sigmoid 后跟 BCELoss 在数值上更稳定，因为通过将操作组合到一层，我们利用 log-sum-exp 技巧来实现数值稳定性。

未减少的(即 reduction 设置为 'none' )损失可以说明为：

\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log \sigma(x_n) + (1 - y_n) \cdot \log (1 - \sigma(x_n)) \right],

其中N 是批量大小。如果 reduction 不是 'none' (默认 'mean' )，那么

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

这用于测量例如auto-encoder 中的重建误差。请注意，目标 t[i] 应该是 0 到 1 之间的数字。

可以通过向正例添加权重来权衡召回率和精度。在多标签分类的情况下，损失可以说明为：

\ell_c(x, y) = L_c = \{l_{1,c},\dots,l_{N,c}\}^\top, \quad l_{n,c} = - w_{n,c} \left[ p_c y_{n,c} \cdot \log \sigma(x_{n,c}) + (1 - y_{n,c}) \cdot \log (1 - \sigma(x_{n,c})) \right],

其中c是类号(c > 1用于多标签二分类，c = 1用于single-label二分类)，n是批次中的样本数，p_c是权重c 类的肯定答案。

p_c > 1 提高召回率，p_c < 1 提高精度。

例如，如果数据集包含单个类的 100 个正样本和 300 个负样本，则该类的 pos_weight 应该等于 \frac{300}{100}=3 。损失将表现为数据集包含3\times 100=300 正例。

例子：

>>> target = torch.ones([10, 64], dtype=torch.float32)  # 64 classes, batch size = 10
>>> output = torch.full([10, 64], 1.5)  # A prediction (logit)
>>> pos_weight = torch.ones([64])  # All weights are equal to 1
>>> criterion = torch.nn.BCEWithLogitsLoss(pos_weight=pos_weight)
>>> criterion(output, target)  # -log(sigmoid(1.5))
tensor(0.2014)

形状：

• 输入： (*) ，其中 * 表示任意数量的维度。

• 目标：(*)，与输入的形状相同。

• 输出：标量。如果 reduction 是 'none' ，那么 (*) ，与输入的形状相同。

例子：

>>> loss = nn.BCEWithLogitsLoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(input, target)
>>> output.backward()