Python dask.dataframe.DataFrame.drop_duplicates用法及代碼示例

用法:
DataFrame.drop_duplicates(subset=None, split_every=None, split_out=1, ignore_index=False, **kwargs)

返回刪除重複行的 DataFrame。

此文檔字符串是從 pandas.core.frame.DataFrame.drop_duplicates 複製而來的。

可能存在與 Dask 版本的一些不一致之處。

考慮某些列是可選的。索引(包括時間索引)將被忽略。

參數：

subset：列標簽或標簽序列，可選: 僅考慮某些列來識別重複項，默認情況下使用所有列。
keep：{‘first’, ‘last’, False}，默認 ‘first’(Dask 不支持): 確定要保留哪些重複項(如果有)。 - first ：刪除除第一次出現的重複項。 - last ：刪除除最後一次出現的重複項。 - False：刪除所有重複項。
inplace：bool，默認 False(在 Dask 中不支持): 是否將重複項放在適當的位置或返回副本。
ignore_index：布爾值，默認為 False: 如果為 True，則生成的軸將標記為 0、1、...、n - 1。

DataFrame 或無: 如果 inplace=True ，則刪除重複項的 DataFrame 或 None 。

例子：

考慮包含拉麵評級的數據集。

>>> df = pd.DataFrame({  
...     'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
...     'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
...     'rating': [4, 4, 3.5, 15, 5]
... })
>>> df  
    brand style  rating
0  Yum Yum   cup     4.0
1  Yum Yum   cup     4.0
2  Indomie   cup     3.5
3  Indomie  pack    15.0
4  Indomie  pack     5.0

默認情況下，它會根據所有列刪除重複的行。

>>> df.drop_duplicates()  
    brand style  rating
0  Yum Yum   cup     4.0
2  Indomie   cup     3.5
3  Indomie  pack    15.0
4  Indomie  pack     5.0

要刪除特定列上的重複項，請使用 subset 。

>>> df.drop_duplicates(subset=['brand'])  
    brand style  rating
0  Yum Yum   cup     4.0
2  Indomie   cup     3.5

要刪除重複項並保留最後一次出現，請使用 keep 。

>>> df.drop_duplicates(subset=['brand', 'style'], keep='last')  
    brand style  rating
1  Yum Yum   cup     4.0
2  Indomie   cup     3.5
4  Indomie  pack     5.0

相關用法

注：本文由純淨天空篩選整理自dask.org大神的英文原創作品 dask.dataframe.DataFrame.drop_duplicates。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：