Python tf.compat.v1.nn.sigmoid_cross_entropy_with_logits用法及代码示例

计算给定 logits 的 sigmoid 交叉熵。

用法

tf.compat.v1.nn.sigmoid_cross_entropy_with_logits(
    _sentinel=None, labels=None, logits=None, name=None
)

测量具有两个结果的任务中的概率误差，其中每个结果都是独立的并且不需要具有完全确定的标签。例如，可以执行回归，其中事件发生的概率已知并用作标签。这种损失也可以用于二分类，其中标签或者是零，或者是一。

为简洁起见，让 x = logits ， z = labels 。逻辑损失是

z * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
= z * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
= z * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
= z * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
= (1 - z) * x + log(1 + exp(-x))
= x - x * z + log(1 + exp(-x))

对于 x < 0，为了避免 exp(-x) 中的溢出，我们重新制定上述

x - x * z + log(1 + exp(-x))
= log(exp(x)) - x * z + log(1 + exp(-x))
= - x * z + log(1 + exp(x))

因此，为了确保稳定性并避免溢出，实现使用这个等效公式

max(x, 0) - x * z + log(1 + exp(-abs(x)))

logits 和labels 必须具有相同的类型和形状。

logits = tf.constant([1., -1., 0., 1., -1., 0., 0.])
labels = tf.constant([0., 0., 0., 1., 1., 1., 0.5])
tf.nn.sigmoid_cross_entropy_with_logits(
    labels=labels, logits=logits).numpy()
array([1.3132617, 0.3132617, 0.6931472, 0.3132617, 1.3132617, 0.6931472,
       0.6931472], dtype=float32)

与处理多个结果的损失相比， tf.nn.softmax_cross_entropy_with_logits 用于一般的multi-class 分类， tf.nn.sparse_softmax_cross_entropy_with_logits 用于更有效的带硬标签的multi-class 分类，sigmoid_cross_entropy_with_logits 是二进制分类的轻微简化：

sigmoid(x) = softmax([x, 0])[0]

虽然 sigmoid_cross_entropy_with_logits 适用于软二进制标签(概率在 0 和 1 之间)，但它也可用于标签较硬的二进制分类。在这种情况下，所有三个符号之间存在等价关系，概率为 0 表示第二类或 1 表示第一类：

sigmoid_logits = tf.constant([1., -1., 0.])
softmax_logits = tf.stack([sigmoid_logits, tf.zeros_like(sigmoid_logits)],
                          axis=-1)
soft_binary_labels = tf.constant([1., 1., 0.])
soft_multiclass_labels = tf.stack(
    [soft_binary_labels, 1. - soft_binary_labels], axis=-1)
hard_labels = tf.constant([0, 0, 1])
tf.nn.sparse_softmax_cross_entropy_with_logits(
    labels=hard_labels, logits=softmax_logits).numpy()
array([0.31326166, 1.3132616 , 0.6931472 ], dtype=float32)
tf.nn.softmax_cross_entropy_with_logits(
    labels=soft_multiclass_labels, logits=softmax_logits).numpy()
array([0.31326166, 1.3132616, 0.6931472], dtype=float32)
tf.nn.sigmoid_cross_entropy_with_logits(
    labels=soft_binary_labels, logits=sigmoid_logits).numpy()
array([0.31326166, 1.3132616, 0.6931472], dtype=float32)