Python tf.compat.v1.nn.weighted_cross_entropy_with_logits用法及代碼示例

計算加權交叉熵。 (不推薦使用的參數)

用法

tf.compat.v1.nn.weighted_cross_entropy_with_logits(
    labels=None, logits=None, pos_weight=None, name=None, targets=None
)

警告：不推薦使用某些參數：(targets)。它們將在未來的版本中被刪除。更新說明：目標已棄用，請改用標簽

這就像 sigmoid_cross_entropy_with_logits() 除了 pos_weight 允許人們通過向上或 down-weighting 相對於負錯誤的正錯誤成本來權衡召回和精度。

通常的cross-entropy 成本定義為：

labels * -log(sigmoid(logits)) +
    (1 - labels) * -log(1 - sigmoid(logits))

值 pos_weight > 1 會減少假陰性計數，從而增加召回率。相反，設置 pos_weight < 1 會減少誤報計數並提高精度。這可以從 pos_weight 被引入作為損失表達式中正標簽項的乘法係數的事實中看出：

labels * -log(sigmoid(logits)) * pos_weight +
    (1 - labels) * -log(1 - sigmoid(logits))

為簡潔起見，讓 x = logits , z = labels , q = pos_weight 。損失是：

qz * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
= qz * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
= qz * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
= (1 - z) * x + (qz +  1 - z) * log(1 + exp(-x))
= (1 - z) * x + (1 + (q - 1) * z) * log(1 + exp(-x))

設置 l = (1 + (q - 1) * z) ，為了保證穩定性和避免溢出，實現使用

(1 - z) * x + l * (log(1 + exp(-abs(x))) + max(-x, 0))

logits 和labels 必須具有相同的類型和形狀。