Python tf.nn.sigmoid_cross_entropy_with_logits用法及代碼示例

計算給定 logits 的 sigmoid 交叉熵。

用法

tf.nn.sigmoid_cross_entropy_with_logits(
    labels=None, logits=None, name=None
)

測量具有兩個結果的任務中的概率誤差，其中每個結果都是獨立的並且不需要具有完全確定的標簽。例如，可以執行回歸，其中事件發生的概率已知並用作標簽。這種損失也可以用於二分類，其中標簽或者是零，或者是一。

為簡潔起見，讓 x = logits ， z = labels 。邏輯損失是

z * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
= z * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
= z * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
= z * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
= (1 - z) * x + log(1 + exp(-x))
= x - x * z + log(1 + exp(-x))

對於 x < 0，為了避免 exp(-x) 中的溢出，我們重新製定上述

x - x * z + log(1 + exp(-x))
= log(exp(x)) - x * z + log(1 + exp(-x))
= - x * z + log(1 + exp(x))

因此，為了確保穩定性並避免溢出，實現使用這個等效公式

max(x, 0) - x * z + log(1 + exp(-abs(x)))

logits 和labels 必須具有相同的類型和形狀。

logits = tf.constant([1., -1., 0., 1., -1., 0., 0.])
labels = tf.constant([0., 0., 0., 1., 1., 1., 0.5])
tf.nn.sigmoid_cross_entropy_with_logits(
    labels=labels, logits=logits).numpy()
array([1.3132617, 0.3132617, 0.6931472, 0.3132617, 1.3132617, 0.6931472,
       0.6931472], dtype=float32)

與處理多個結果的損失相比， tf.nn.softmax_cross_entropy_with_logits 用於一般的multi-class 分類， tf.nn.sparse_softmax_cross_entropy_with_logits 用於更有效的帶硬標簽的multi-class 分類，sigmoid_cross_entropy_with_logits 是二進製分類的輕微簡化：

sigmoid(x) = softmax([x, 0])[0]

雖然 sigmoid_cross_entropy_with_logits 適用於軟二進製標簽(概率在 0 和 1 之間)，但它也可用於標簽較硬的二進製分類。在這種情況下，所有三個符號之間存在等價關係，概率為 0 表示第二類或 1 表示第一類：

sigmoid_logits = tf.constant([1., -1., 0.])
softmax_logits = tf.stack([sigmoid_logits, tf.zeros_like(sigmoid_logits)],
                          axis=-1)
soft_binary_labels = tf.constant([1., 1., 0.])
soft_multiclass_labels = tf.stack(
    [soft_binary_labels, 1. - soft_binary_labels], axis=-1)
hard_labels = tf.constant([0, 0, 1])
tf.nn.sparse_softmax_cross_entropy_with_logits(
    labels=hard_labels, logits=softmax_logits).numpy()
array([0.31326166, 1.3132616 , 0.6931472 ], dtype=float32)
tf.nn.softmax_cross_entropy_with_logits(
    labels=soft_multiclass_labels, logits=softmax_logits).numpy()
array([0.31326166, 1.3132616, 0.6931472], dtype=float32)
tf.nn.sigmoid_cross_entropy_with_logits(
    labels=soft_binary_labels, logits=sigmoid_logits).numpy()
array([0.31326166, 1.3132616, 0.6931472], dtype=float32)