Python PySpark DataFrame describe方法用法及代码示例

PySpark DataFrame 的 describe(~) 方法返回一个新的 PySpark DataFrame，其中保存指定列的摘要统计信息。

参数

1.*cols | string | optional

默认情况下，将说明所有数字和字符串列。

返回值

PySpark 数据帧。

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20], ["Bob", 25], ["Bob", 30]], ["name", "age"])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
| Bob| 25|
| Bob| 30|
+----+---+

获取 PySpark DataFrame 中某些列的汇总统计信息

要获取 name 和 age 列的摘要统计信息：

df.describe("name","age").show()



+-------+----+----+
|summary|name| age|
+-------+----+----+
|  count|   3|   3|
|   mean|null|25.0|
| stddev|null| 5.0|
|    min|Alex|  20|
|    max| Bob|  30|
+-------+----+----+

获取 PySpark DataFrame 中所有数字和字符串列的汇总统计信息

要获取所有数字和字符串列的摘要统计信息：

df.describe().show()



+-------+----+----+
|summary|name| age|
+-------+----+----+
|  count|   3|   3|
|   mean|null|25.0|
| stddev|null| 5.0|
|    min|Alex|  20|
|    max| Bob|  30|
+-------+----+----+

相关用法

注：本文由纯净天空筛选整理自Isshin Inada大神的英文原创作品 PySpark DataFrame | describe method。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。