R SparkR dropDuplicates用法及代碼示例

說明：

返回刪除重複行的新 SparkDataFrame，僅考慮列的子集。

用法：

dropDuplicates(x, ...)

## S4 method for signature 'SparkDataFrame'
dropDuplicates(x, ...)

參數：

• x 一個 SparkDataFrame。
• ... 列名或字符串列名的字符向量。如果第一個參數包含字符向量，則忽略以下內容。

返回：

刪除了重複行的 SparkDataFrame。

注意：

從 2.0.0 開始刪除重複項

例子：

sparkR.session()
path <- "path/to/file.json"
df <- read.json(path)
dropDuplicates(df)
dropDuplicates(df, "col1", "col2")
dropDuplicates(df, c("col1", "col2"))