Python pyspark DataFrame.dropDuplicates用法及代碼示例

本文簡要介紹 pyspark.sql.DataFrame.dropDuplicates 的用法。

用法: DataFrame.dropDuplicates(subset=None)

返回刪除重複行的新 DataFrame ，可選擇僅考慮某些列。

對於靜態批處理 DataFrame ，它隻會刪除重複的行。對於流式傳輸 DataFrame ，它將跨觸發器保留所有數據作為中間狀態以刪除重複行。您可以使用 withWatermark() 來限製重複數據的延遲時間，係統將相應地限製狀態。此外，將丟棄比水印更早的數據，以避免任何重複的可能性。

drop_duplicates() 是 dropDuplicates() 的別名。

1.4.0 版中的新函數。

例子：

>>> from pyspark.sql import Row
>>> df = sc.parallelize([ \
...     Row(name='Alice', age=5, height=80), \
...     Row(name='Alice', age=5, height=80), \
...     Row(name='Alice', age=10, height=80)]).toDF()
>>> df.dropDuplicates().show()
+-----+---+------+
| name|age|height|
+-----+---+------+
|Alice|  5|    80|
|Alice| 10|    80|
+-----+---+------+

>>> df.dropDuplicates(['name', 'height']).show()
+-----+---+------+
| name|age|height|
+-----+---+------+
|Alice|  5|    80|
+-----+---+------+

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.DataFrame.dropDuplicates。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。