Python tf.compat.v1.distributions.Multinomial.kl_divergence用法及代碼示例

用法

kl_divergence(
    other, name='kl_divergence'
)

計算 Kullback-Leibler 散度。

用 p 表示此分布 (self)，用 q 表示 other 分布。假設 p, q 相對於參考測量 r 絕對連續，則 KL 散度定義為：

KL[p, q] = E_p[log(p(X)/q(X))]
         = -int_F p(x) log q(x) dr(x) + int_F p(x) log p(x) dr(x)
         = H[p, q] - H[p]

其中F表示隨機變量的支持度X ~ p , H[., .]表示(Shanon)交叉熵，H[.]表示(Shanon)熵。