Python pyspark KolmogorovSmirnovTest.test用法及代碼示例

本文簡要介紹 pyspark.ml.stat.KolmogorovSmirnovTest.test 的用法。

用法: static test(dataset, sampleCol, distName, *params)

對概率分布相等性進行單樣本、兩側 Kolmogorov-Smirnov 測試。目前支持正態分布，以平均值和標準差作為參數。

2.4.0 版中的新函數。

參數：

dataset：DataFrame: 包含要測試的數據樣本的數據集或DataFrame。
sampleCol：str: 數據集中樣本列的名稱，任何數字類型。
distName：str: 理論分布的string 名稱，目前僅支持“norm”。
params：浮點數: float 值列表，指定用於理論分布的參數。對於“norm” 分布，參數包括均值和方差。

DataFrame，包含輸入采樣數據的Kolmogorov-Smirnov 測試結果。
此 DataFrame 將包含具有以下字段的單行：

pValue: Double
statistic: Double

例子：

>>> from pyspark.ml.stat import KolmogorovSmirnovTest
>>> dataset = [[-1.0], [0.0], [1.0]]
>>> dataset = spark.createDataFrame(dataset, ['sample'])
>>> ksResult = KolmogorovSmirnovTest.test(dataset, 'sample', 'norm', 0.0, 1.0).first()
>>> round(ksResult.pValue, 3)
1.0
>>> round(ksResult.statistic, 3)
0.175
>>> dataset = [[2.0], [3.0], [4.0]]
>>> dataset = spark.createDataFrame(dataset, ['sample'])
>>> ksResult = KolmogorovSmirnovTest.test(dataset, 'sample', 'norm', 3.0, 1.0).first()
>>> round(ksResult.pValue, 3)
1.0
>>> round(ksResult.statistic, 3)
0.175

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.ml.stat.KolmogorovSmirnovTest.test。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：