Python PySpark SQL Functions count方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([['Alex','A'],['Bob','B'],['Cathy','A']], ['name','class'])
df.show()



+-----+-----+
| name|class|
+-----+-----+
| Alex|    A|
|  Bob|    B|
|Cathy|    A|
+-----+-----+

计算每组中的项目数

要计算每个 class 组的行数：

import pyspark.sql.functions as F
df.groupBy('class').agg(F.count('class').alias('COUNT')).show()



+-----+-----+
|class|COUNT|
+-----+-----+
|    A|    2|
|    B|    1|
+-----+-----+

在此，请注意以下事项：

• 我们首先使用 groupBy(~) 按 class 列进行分组，然后对于每个组，我们计算有多少行。从技术上讲，我们正在计算每个组中 class 值的数量 ( F.count('class') )，但这相当于只计算每个组中的行数。

• 我们使用 alias(~) 方法为生成的聚合列分配标签。请注意，分配的默认标签是 'count' 。