Python PySpark SQL Functions countDistinct方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25], ["Bob", 30], ["Alex", 25], ["Alex", 50]], ["name", "age"])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 25|
| Bob| 30|
|Alex| 25|
|Alex| 50|
+----+---+

計算單個 PySpark 列中不同值的數量

要計算列 name 中不同行的數量：

import pyspark.sql.functions as F
df.select(F.countDistinct("name")).show()



+--------------------+
|count(DISTINCT name)|
+--------------------+
|                   2|
+--------------------+

請注意，您可以傳入 Column 對象，而不是傳入列標簽 ( "name" )，如下所示：

# df.select(F.countDistinct(df.name)).show()
df.select(F.countDistinct(F.col("name"))).show()



+--------------------+
|count(DISTINCT name)|
+--------------------+
|                   2|
+--------------------+

計算多個 PySpark 列中不同值的數量

在計算重複行時要考慮列 name 和 age：

df.select(F.countDistinct("name", "age")).show()



+-------------------------+
|count(DISTINCT name, age)|
+-------------------------+
|                        3|
+-------------------------+

計算 PySpark DataFrame 中不同行的數量

要在計算重複行時考慮所有列，請傳入 "*" ：

df.select(F.countDistinct("*")).show()



+-------------------------+
|count(DISTINCT name, age)|
+-------------------------+
|                        3|
+-------------------------+