Python tf.nn.weighted_cross_entropy_with_logits用法及代码示例

计算加权交叉熵。

用法

tf.nn.weighted_cross_entropy_with_logits(
    labels, logits, pos_weight, name=None
)

这就像 sigmoid_cross_entropy_with_logits() 除了 pos_weight 允许人们通过向上或 down-weighting 相对于负错误的正错误成本来权衡召回和精度。

通常的cross-entropy 成本定义为：

labels * -log(sigmoid(logits)) +
    (1 - labels) * -log(1 - sigmoid(logits))

值 pos_weight > 1 会减少假阴性计数，从而增加召回率。相反，设置 pos_weight < 1 会减少误报计数并提高精度。这可以从 pos_weight 被引入作为损失表达式中正标签项的乘法系数的事实中看出：

labels * -log(sigmoid(logits)) * pos_weight +
    (1 - labels) * -log(1 - sigmoid(logits))

为简洁起见，让 x = logits , z = labels , q = pos_weight 。损失是：

qz * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
= qz * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
= (1 - z) * x + (qz +  1 - z) * log(1 + exp(-x))
= (1 - z) * x + (1 + (q - 1) * z) * log(1 + exp(-x))

设置 l = (1 + (q - 1) * z) ，为了保证稳定性和避免溢出，实现使用

(1 - z) * x + l * (log(1 + exp(-abs(x))) + max(-x, 0))

logits 和labels 必须具有相同的类型和形状。

labels = tf.constant([1., 0.5, 0.])
logits = tf.constant([1.5, -0.1, -10.])
tf.nn.weighted_cross_entropy_with_logits(
    labels=labels, logits=logits, pos_weight=tf.constant(1.5)).numpy()
array([3.0211994e-01, 8.8049585e-01, 4.5776367e-05], dtype=float32)
tf.nn.weighted_cross_entropy_with_logits(
    labels=labels, logits=logits, pos_weight=tf.constant(0.5)).numpy()
array([1.00706644e-01, 5.08297503e-01, 4.57763672e-05], dtype=float32)