Python SciPy stats.entropy用法及代码示例

本文简要介绍 python 语言中 scipy.stats.entropy 的用法。

用法:

scipy.stats.entropy(pk, qk=None, base=None, axis=0)#

计算给定分布的香农熵/相对熵。

如果只是概率PK给出，香农熵计算如下H = -sum(pk * log(pk)).

如果qk不为 None，则计算相对熵D = sum(pk * log(pk / qk))。该数量也称为Kullback-Leibler 散度。

如果 pk 和 qk 的总和不为 1，则此例程将标准化。

参数 ：：

pk： array_like

定义(离散)分布。沿着 pk 的每个 axis-slice ，元素 i 是事件 i 的(可能未归一化的)概率。

qk： 数组，可选

计算相对熵的序列。应该与pk的格式相同。

base： 浮点数，可选

要使用的对数底数，默认为e(自然对数)。

axis： 整数，可选

计算熵的轴。默认值为 0。

返回 ：：

S： {浮点数，数组}

计算的熵。

注意：

非正式地，香农熵量化了离散随机变量的可能结果中固有的预期不确定性。例如，如果要对由一组符号序列组成的消息进行编码并通过无噪声信道传输，则香农熵H(pk)如果符号出现的频率受离散分布控制，则给出每个符号所需的平均信息单位数的严格下界PK [1]。基地的选择决定单位的选择；例如：，e对于纳兹来说，2对于位等

相对熵，D(pk|qk)，如果针对概率分布优化编码，则量化每个符号所需的平均信息单元数的增加qk而不是真实的分布PK。非正式地，相对熵量化了如果人们相信真实分布是的话，所经历的意外的预期过量qk当它实际上是PK.

相关量，交叉熵CE(pk, qk)，满足方程CE(pk, qk) = H(pk) + D(pk|qk)也可以用公式计算CE = -sum(pk * log(qk))。如果针对概率分布优化编码，它给出每个符号所需的信息单元的平均数量qk当真实分布为PK。它不是直接计算的entropy，但可以通过两次调用该函数来计算(请参阅示例)。

请参阅 [2] 了解更多信息。

参考：

[1]

Shannon, C.E. (1948)，《通信的数学理论》。贝尔系统技术杂志，27：379-423。 https://doi.org/10.1002/j.1538-7305.1948.tb01338.x

[2]

托马斯·M·科弗 (Thomas M. Cover) 和乔伊·A·托马斯 (Joy A. Thomas)。 2006 年。信息论要素(电信和信号处理领域的 Wiley 系列)。 Wiley-Interscience，美国。

例子：

公平硬币的结果是最不确定的：

>>> import numpy as np
>>> from scipy.stats import entropy
>>> base = 2  # work in units of bits
>>> pk = np.array([1/2, 1/2])  # fair coin
>>> H = entropy(pk, base=base)
>>> H
1.0
>>> H == -np.sum(pk * np.log(pk)) / np.log(base)
True

有偏见的硬币的结果不太不确定：

>>> qk = np.array([9/10, 1/10])  # biased coin
>>> entropy(qk, base=base)
0.46899559358928117

公平硬币和有偏差硬币之间的相对熵计算如下：

>>> D = entropy(pk, qk, base=base)
>>> D
0.7369655941662062
>>> D == np.sum(pk * np.log(pk/qk)) / np.log(base)
True

交叉熵可以计算为熵和相对熵之和：

>>> CE = entropy(pk, base=base) + entropy(pk, qk, base=base)
>>> CE
1.736965594166206
>>> CE == -np.sum(pk * np.log(qk)) / np.log(base)
True