Python Pandas DataFrame drop_duplicates方法用法及代码示例

例子

基本用法

考虑以下 DataFrame ：

df = pd.DataFrame({"A":[2,2,2], "B":[4,5,4], "C":[2,8,2]})
df



   A  B  C
0  2  4  2
1  2  5  8
2  2  4  2

第一行和第三行是重复的。要删除重复的行：

df.drop_duplicates()



   A  B  C
0  2  4  2
1  2  5  8

删除重复的行，仅考虑某些列

考虑以下 DataFrame ：

df = pd.DataFrame({"A":[2,2], "B":[4,3], "C":[2,2]})
df



   A  B  C
0  2  4  2
1  2  3  2

在这里，第一行和第二行并不完全重复( [2,4,2] 与 [2,3,2] )。我们仍然可以通过指定 subset=["A","C"] 将它们声明为重复项，这在检查重复项时只会考虑列 A 和 C：

df.drop_duplicates(subset=["A","C"])



   A  B  C
0  2  4  2

处理重复项的不同方法

正如 keep="first" || "last" || "False" 所指定的，我们可以通过三种方式处理重复项。

考虑以下 DataFrame ：

df = pd.DataFrame({"A":[2,9,2], "B":[4,9,4], "C":[2,9,2]})
df



   A  B  C
0  2  4  2
1  9  9  9
2  2  4  2

只保留第一次出现的情况

df.drop_duplicates(keep="first")      # This is the default behaviour



   A  B  C
0  2  4  2
1  9  9  9

请注意第一次出现的重复项是如何保持原样的。

只保留最后一次出现的情况

df.drop_duplicates(keep="last")



   A  B  C
1  9  9  9
2  2  4  2

请注意最后一次出现的重复项是如何保持原样的。

删除所有出现的情况

df.drop_duplicates(keep=False)



   A  B  C
1  9  9  9

请注意所有重复项是如何被删除的。

就地删除重复行

要就地删除重复行，请设置 inplace=True 。这将直接从源 DataFrame 中删除重复行，而不是创建新行。

考虑以下 DataFrame ；

df = pd.DataFrame({"A":[2,9,2], "B":[4,9,4], "C":[2,9,2]})
df



   A  B  C
0  2  4  2
1  9  9  9
2  2  4  2

我们使用 inplace=True 删除所有重复行：

df.drop_duplicates(inplace=True)
df



   A  B  C
0  2  4  2
1  9  9  9

如输出所示，源 DataFrame 已被修改。