Python PyTorch cross_entropy用法及代码示例

本文简要介绍python语言中 torch.nn.functional.cross_entropy 的用法。

用法:

torch.nn.functional.cross_entropy(input, target, weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean', label_smoothing=0.0)

参数：

• input(Tensor) -(N, C) 其中 C = number of classes 或 (N, C, H, W) 在 2D 损失的情况下，或 (N, C, d_1, d_2, ..., d_K) 其中 K \geq 1 在 K-dimensional 损失的情况下。 input 预计包含非标准化分数(通常称为 logits)。

• target(Tensor) -如果包含类索引，形状 (N) ，其中每个值是 0 \leq \text{targets}[i] \leq C-1 ，或 (N, d_1, d_2, ..., d_K) 与 K \geq 1 在 K-dimensional 损失的情况下。如果包含类概率，则与输入的形状相同。

• weight(Tensor,可选的) -给每个类一个手动重新调整的权重。如果给定，则必须是大小为 C 的张量

• size_average(bool,可选的) -已弃用(请参阅reduction)。默认情况下，损失是批次中每个损失元素的平均值。请注意，对于某些损失，每个样本有多个元素。如果字段 size_average 设置为 False ，则会对每个小批量的损失求和。当 reduce 为 False 时忽略。默认值：True

• ignore_index(int,可选的) -指定一个被忽略且不影响输入梯度的目标值。当 size_average 为 True 时，损失是在非忽略目标上的平均值。请注意，ignore_index 仅在目标包含类索引时适用。默认值：-100

• reduce(bool,可选的) -已弃用(请参阅reduction)。默认情况下，根据 size_average 对每个小批量的观察结果进行平均或求和。当 reduce 是 False 时，返回每个批次元素的损失并忽略 size_average 。默认值：True

• reduction(string,可选的) -指定要应用于输出的缩减：'none' | 'mean' | 'sum' 。 'none' ：不应用减少，'mean'：输出的总和将除以输出中的元素数，'sum'：输出将被求和。注意：size_average 和 reduce 正在被弃用，同时，指定这两个参数中的任何一个都将覆盖 reduction 。默认值：'mean'

• label_smoothing(float,可选的) -[0.0, 1.0] 中的浮点数。指定计算损失时的平滑量，其中 0.0 表示不平滑。目标成为原始基本事实和均匀分布的混合体，如 Rethinking the Inception Architecture for Computer Vision 中所述。默认值：0.0。

该标准计算输入和目标之间的交叉熵损失。

有关详细信息，请参阅 CrossEntropyLoss 。

例子：

>>> # Example of target with class indices
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.randint(5, (3,), dtype=torch.int64)
>>> loss = F.cross_entropy(input, target)
>>> loss.backward()
>>>
>>> # Example of target with class probabilities
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.randn(3, 5).softmax(dim=1)
>>> loss = F.cross_entropy(input, target)
>>> loss.backward()