Python PySpark SQL Functions count方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([['Alex','A'],['Bob','B'],['Cathy','A']], ['name','class'])
df.show()



+-----+-----+
| name|class|
+-----+-----+
| Alex|    A|
|  Bob|    B|
|Cathy|    A|
+-----+-----+

計算每組中的項目數

要計算每個 class 組的行數：

import pyspark.sql.functions as F
df.groupBy('class').agg(F.count('class').alias('COUNT')).show()



+-----+-----+
|class|COUNT|
+-----+-----+
|    A|    2|
|    B|    1|
+-----+-----+

在此，請注意以下事項：

• 我們首先使用 groupBy(~) 按 class 列進行分組，然後對於每個組，我們計算有多少行。從技術上講，我們正在計算每個組中 class 值的數量 ( F.count('class') )，但這相當於隻計算每個組中的行數。

• 我們使用 alias(~) 方法為生成的聚合列分配標簽。請注意，分配的默認標簽是 'count' 。