R SparkR repartition用法及代碼示例

說明：

可以使用以下重新分區選項：

• 1. 返回一個新的 SparkDataFrame，它正好有 numPartitions 。

• 2. 將由給定列分區的新 SparkDataFrame 哈希返回到 numPartitions 。

• 3. 返回由給定列分區的新 SparkDataFrame 哈希，使用 spark.sql.shuffle.partitions 作為分區數。

用法：

repartition(x, ...)

## S4 method for signature 'SparkDataFrame'
repartition(x, numPartitions = NULL, col = NULL, ...)

參數：

• x 一個 SparkDataFrame。
• ... 要在分區中使用的附加列。
• numPartitions 要使用的分區數。
• col 將執行分區的列。

注意：

從 1.4.0 開始重新分區

例子：

sparkR.session()
path <- "path/to/file.json"
df <- read.json(path)
newDF <- repartition(df, 2L)
newDF <- repartition(df, numPartitions = 2L)
newDF <- repartition(df, col = df$"col1", df$"col2")
newDF <- repartition(df, 3L, col = df$"col1", df$"col2")