Python PySpark DataFrame distinct方法用法及代碼示例

PySpark DataFrame 的 distinct() 方法返回一個包含不同行的新 DataFrame。

參數

該方法不接受任何參數。

返回值

PySpark 數據幀 (pyspark.sql.dataframe.DataFrame)。

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25], ["Bob", 30], ["Alex", 25], ["Alex", 50]], ["name", "age"])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 25|
| Bob| 30|
|Alex| 25|
|Alex| 50|
+----+---+

獲取 PySpark DataFrame 的所有不同行

要獲取 PySpark DataFrame 的所有不同行，請使用 distinct() 方法：

df.distinct().show()



+----+---+
|name|age|
+----+---+
|Alex| 25|
| Bob| 30|
|Alex| 50|
+----+---+

計算 PySpark DataFrame 的不同行數

要計算 PySpark DataFrame 的不同行數：

df.distinct().count()



3

相關用法

注：本文由純淨天空篩選整理自Isshin Inada大神的英文原創作品 PySpark DataFrame | distinct method。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。