Python SciPy stats.normaltest用法及代码示例

本文简要介绍 python 语言中 scipy.stats.normaltest 的用法。

用法:

scipy.stats.normaltest(a, axis=0, nan_policy='propagate')#

检验样本是否不同于正态分布。

此函数检验样本来自正态分布的原假设。它基于 D'Agostino 和 Pearson 的 [1]、[2] 检验，该检验结合了偏斜和峰态以产生对正态性的综合检验。

参数 ：：

a： array_like

包含要测试的样本的数组。

axis： int 或无，可选

计算测试的轴。默认值为 0。如果没有，则计算整个数组 a。

nan_policy： {‘propagate’, ‘raise’, ‘omit’}，可选

定义当输入包含 nan 时如何处理。以下选项可用(默认为‘propagate’)：

• ‘propagate’: returns nan

• ‘raise’: throws an error

• ‘omit’: performs the calculations ignoring nan values

返回 ：：

statistic： 浮点数或数组

s^2 + k^2 ，其中 s 是 skewtest 返回的 z-score ， k 是 kurtosistest 返回的 z-score 。

pvalue： 浮点数或数组

假设检验的 2 边卡方概率。

参考：

[1] (1,2)

D'Agostino, R. B. (1971)，“中等和大样本量的正态性综合检验”，Biometrika，58，341-348

[2] (1,2)

D'Agostino, R. 和 Pearson, E. S. (1973)，“偏离常态的测试”，Biometrika, 60, 613-622

[3]

夏皮罗，S.S. 和威尔克，M.B. (1965)。正态性方差检验分析(完整样本)。生物计量学，52(3/4)，591-611。

[4]

B. Phipson 和 G. K. Smyth。 “排列 P 值不应该为零：随机抽取排列时计算精确的 P 值。”遗传学和分子生物学中的统计应用 9.1 (2010)。

[5]

帕纳吉奥塔科斯，D.B. (2008)。 p 值在生物医学研究中的值。开放心血管医学杂志，2, 97。

例子：

假设我们希望从测量中推断医学研究中成年男性的体重是否不呈正态分布[3]。重量(磅)记录在下面的数组x中。

>>> import numpy as np
>>> x = np.array([148, 154, 158, 160, 161, 162, 166, 170, 182, 195, 236])

[1] 和 [2] 的正态性检验首先根据样本偏度和峰度计算统计量。

>>> from scipy import stats
>>> res = stats.normaltest(x)
>>> res.statistic
13.034263121192582

(该测试警告我们的样本观测值太少，无法执行测试。我们将在示例末尾返回这一点。)因为正态分布具有零偏度和零(“excess” 或 “Fisher”)峰度，对于从正态分布中抽取的样本，该统计值往往较低。

该检验是通过将统计量的观测值与零分布进行比较来执行的：零分布是在权重从正态分布中得出的零假设下得出的统计值的分布。对于此正态性检验，非常大的样本的零分布是具有两个自由度的卡方分布。

>>> import matplotlib.pyplot as plt
>>> dist = stats.chi2(df=2)
>>> stat_vals = np.linspace(0, 16, 100)
>>> pdf = dist.pdf(stat_vals)
>>> fig, ax = plt.subplots(figsize=(8, 5))
>>> def plot(ax):  # we'll re-use this
...     ax.plot(stat_vals, pdf)
...     ax.set_title("Normality Test Null Distribution")
...     ax.set_xlabel("statistic")
...     ax.set_ylabel("probability density")
>>> plot(ax)
>>> plt.show()

比较通过 p 值进行量化：零分布中大于或等于统计观测值的值的比例。

>>> fig, ax = plt.subplots(figsize=(8, 5))
>>> plot(ax)
>>> pvalue = dist.sf(res.statistic)
>>> annotation = (f'p-value={pvalue:.6f}\n(shaded area)')
>>> props = dict(facecolor='black', width=1, headwidth=5, headlength=8)
>>> _ = ax.annotate(annotation, (13.5, 5e-4), (14, 5e-3), arrowprops=props)
>>> i = stat_vals >= res.statistic  # index more extreme statistic values
>>> ax.fill_between(stat_vals[i], y1=0, y2=pdf[i])
>>> ax.set_xlim(8, 16)
>>> ax.set_ylim(0, 0.01)
>>> plt.show()

>>> res.pvalue
0.0014779023013100172

如果 p 值为 “small” - 也就是说，如果从正态分布总体中采样数据产生统计数据的极值的概率较低 - 这可以作为反对零假设的证据另一种选择：权重不是从正态分布中得出的。注意：

• 反之则不成立；也就是说，检验不用于为原假设提供证据。

• 将被视为 “small” 的值的阈值是在分析数据之前应做出的选择 [4]，同时考虑误报(错误地拒绝零假设)和漏报(未能拒绝假设)的风险。错误的原假设)。

请注意，卡方分布提供了零分布的渐近近似；它仅对于具有许多观测值的样本是准确的。这就是我们在示例开始时收到警告的原因；我们的样本很小。在这种情况下， scipy.stats.monte_carlo_test 可以提供更准确的(尽管是随机的)精确 p 值的近似值。

>>> def statistic(x, axis):
...     # Get only the `normaltest` statistic; ignore approximate p-value
...     return stats.normaltest(x, axis=axis).statistic
>>> res = stats.monte_carlo_test(x, stats.norm.rvs, statistic,
...                              alternative='greater')
>>> fig, ax = plt.subplots(figsize=(8, 5))
>>> plot(ax)
>>> ax.hist(res.null_distribution, np.linspace(0, 25, 50),
...         density=True)
>>> ax.legend(['aymptotic approximation (many observations)',
...            'Monte Carlo approximation (11 observations)'])
>>> ax.set_xlim(0, 14)
>>> plt.show()

>>> res.pvalue
0.0082  # may vary

此外，尽管具有随机性，以这种方式计算的 p 值可用于精确控制原假设的错误拒绝率 [5]。