Python PySpark DataFrame summary方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20], ["Bob", 24], ["Cathy", 22], ["Doge", 30]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 24|
|Cathy| 22|
| Doge| 30|
+-----+---+

獲取PySpark DataFrame 數字列的匯總統計信息

我們DataFrame的匯總統計如下：

df.summary().show()



+-------+----+-----------------+
|summary|name|              age|
+-------+----+-----------------+
|  count|   4|                4|
|   mean|null|             24.0|
| stddev|null|4.320493798938574|
|    min|Alex|               20|
|    25%|null|               20|
|    50%|null|               22|
|    75%|null|               24|
|    max|Doge|               30|
+-------+----+-----------------+

僅計算某些匯總統計數據：

df.summary("max", "min").show()



+-------+----+---+
|summary|name|age|
+-------+----+---+
|    max|Doge| 30|
|    min|Alex| 20|
+-------+----+---+

獲取 PySpark DataFrame 中數字列的 n-th 百分位

計算第 60 個百分位數：

df.summary("60%").show()



+-------+----+---+
|summary|name|age|
+-------+----+---+
|    60%|null| 24|
+-------+----+---+

獲取 PySpark DataFrame 中某些列的匯總統計信息

要匯總某些列，請首先使用 select(~) 方法來選擇要匯總的列：

df.select("age").summary("max", "min").show()



+-------+---+
|summary|age|
+-------+---+
|    max| 30|
|    min| 20|
+-------+---+