R SparkR dropDuplicates用法及代码示例

说明：

返回删除重复行的新 SparkDataFrame，仅考虑列的子集。

用法：

dropDuplicates(x, ...)

## S4 method for signature 'SparkDataFrame'
dropDuplicates(x, ...)

参数：

• x 一个 SparkDataFrame。
• ... 列名或字符串列名的字符向量。如果第一个参数包含字符向量，则忽略以下内容。

返回：

删除了重复行的 SparkDataFrame。

注意：

从 2.0.0 开始删除重复项

例子：

sparkR.session()
path <- "path/to/file.json"
df <- read.json(path)
dropDuplicates(df)
dropDuplicates(df, "col1", "col2")
dropDuplicates(df, c("col1", "col2"))