Python tf.compat.v1.nn.weighted_cross_entropy_with_logits用法及代码示例

计算加权交叉熵。 (不推荐使用的参数)

用法

tf.compat.v1.nn.weighted_cross_entropy_with_logits(
    labels=None, logits=None, pos_weight=None, name=None, targets=None
)

警告：不推荐使用某些参数：(targets)。它们将在未来的版本中被删除。更新说明：目标已弃用，请改用标签

这就像 sigmoid_cross_entropy_with_logits() 除了 pos_weight 允许人们通过向上或 down-weighting 相对于负错误的正错误成本来权衡召回和精度。

通常的cross-entropy 成本定义为：

labels * -log(sigmoid(logits)) +
    (1 - labels) * -log(1 - sigmoid(logits))

值 pos_weight > 1 会减少假阴性计数，从而增加召回率。相反，设置 pos_weight < 1 会减少误报计数并提高精度。这可以从 pos_weight 被引入作为损失表达式中正标签项的乘法系数的事实中看出：

labels * -log(sigmoid(logits)) * pos_weight +
    (1 - labels) * -log(1 - sigmoid(logits))

为简洁起见，让 x = logits , z = labels , q = pos_weight 。损失是：

qz * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
= qz * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
= (1 - z) * x + (qz +  1 - z) * log(1 + exp(-x))
= (1 - z) * x + (1 + (q - 1) * z) * log(1 + exp(-x))

设置 l = (1 + (q - 1) * z) ，为了保证稳定性和避免溢出，实现使用

(1 - z) * x + l * (log(1 + exp(-abs(x))) + max(-x, 0))

logits 和labels 必须具有相同的类型和形状。