Python tf.compat.v1.distributions.Categorical.kl_divergence用法及代码示例

用法

kl_divergence(
    other, name='kl_divergence'
)

计算 Kullback-Leibler 散度。

用 p 表示此分布 (self)，用 q 表示 other 分布。假设 p, q 相对于参考测量 r 绝对连续，则 KL 散度定义为：

KL[p, q] = E_p[log(p(X)/q(X))]
         = -int_F p(x) log q(x) dr(x) + int_F p(x) log p(x) dr(x)
         = H[p, q] - H[p]

其中F表示随机变量的支持度X ~ p , H[., .]表示(Shanon)交叉熵，H[.]表示(Shanon)熵。