Python pyspark DataFrame.drop_duplicates用法及代碼示例

返回DataFrame，並刪除重複行，可以選擇僅考慮某些列。

參數：

subset：列標簽或標簽序列，可選

僅考慮某些列來識別重複項，默認情況下使用所有列。

keep：{‘first’, ‘last’, False}，默認 ‘first’

確定要保留哪些重複項(如果有)。 - first ：刪除除第一次出現的重複項。 - last ：刪除除最後一次出現的重複項。 - False：刪除所有重複項。

inplace：布爾值，默認為 False

是否將重複項放在適當的位置或返回副本。

返回：

DataFrame

DataFrame 刪除重複項，如果 inplace=True 則為 None 。

>>> df = ps.DataFrame(
    ..

… {‘a’: [1, 2, 2, 2, 3], ‘b’: [‘a’, ‘a’, ‘a’, ‘c’, ‘d’]}, 列 = [‘a’, ‘b’])

>>> df
    a  b

0 1個

1 2個

2 2個

3 2 攝氏度

4 3天

>>> df.drop_duplicates().sort_index()
    a  b

0 1個

1 2個

3 2 攝氏度

4 3天

>>> df.drop_duplicates('a').sort_index()
    a  b

0 1個

1 2個

4 3天

>>> df.drop_duplicates(['a', 'b']).sort_index()
    a  b

0 1個

1 2個

3 2 攝氏度

4 3天

>>> df.drop_duplicates(keep='last').sort_index()
    a  b

0 1個

2 2個

3 2 攝氏度

4 3天

>>> df.drop_duplicates(keep=False).sort_index()
    a  b

0 1個

3 2 攝氏度

4 3天