Python pyspark DataFrame.corr用法及代碼示例

本文簡要介紹 pyspark.pandas.DataFrame.corr 的用法。

用法: DataFrame.corr(method: str = 'pearson') → pyspark.pandas.frame.DataFrame

計算列的成對相關性，不包括 NA/null 值。

參數：

method：{‘pearson’, ‘spearman’}

皮爾遜：標準相關係數
spearman：Spearman 等級相關性

y：DataFrame

注意：

pandas-on-Spark 和 pandas 之間存在行為差異。

method 參數隻接受 ‘pearson’, ‘spearman’
數據不應包含 NaN。 pandas-on-Spark 將返回錯誤。
pandas-on-Spark 不支持以下參數。
- min_periods 參數不受支持

例子：

>>> df = ps.DataFrame([(.2, .3), (.0, .6), (.6, .0), (.2, .1)],
...                   columns=['dogs', 'cats'])
>>> df.corr('pearson')
          dogs      cats
dogs  1.000000 -0.851064
cats -0.851064  1.000000

>>> df.corr('spearman')
          dogs      cats
dogs  1.000000 -0.948683
cats -0.948683  1.000000

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.DataFrame.corr。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

注意：

例子：