Python PySpark DataFrame summary方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20], ["Bob", 24], ["Cathy", 22], ["Doge", 30]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 24|
|Cathy| 22|
| Doge| 30|
+-----+---+

获取PySpark DataFrame 数字列的汇总统计信息

我们DataFrame的汇总统计如下：

df.summary().show()



+-------+----+-----------------+
|summary|name|              age|
+-------+----+-----------------+
|  count|   4|                4|
|   mean|null|             24.0|
| stddev|null|4.320493798938574|
|    min|Alex|               20|
|    25%|null|               20|
|    50%|null|               22|
|    75%|null|               24|
|    max|Doge|               30|
+-------+----+-----------------+

仅计算某些汇总统计数据：

df.summary("max", "min").show()



+-------+----+---+
|summary|name|age|
+-------+----+---+
|    max|Doge| 30|
|    min|Alex| 20|
+-------+----+---+

获取 PySpark DataFrame 中数字列的 n-th 百分位

计算第 60 个百分位数：

df.summary("60%").show()



+-------+----+---+
|summary|name|age|
+-------+----+---+
|    60%|null| 24|
+-------+----+---+

获取 PySpark DataFrame 中某些列的汇总统计信息

要汇总某些列，请首先使用 select(~) 方法来选择要汇总的列：

df.select("age").summary("max", "min").show()



+-------+---+
|summary|age|
+-------+---+
|    max| 30|
|    min| 20|
+-------+---+