R SparkR repartition用法及代码示例

说明：

可以使用以下重新分区选项：

• 1. 返回一个新的 SparkDataFrame，它正好有 numPartitions 。

• 2. 将由给定列分区的新 SparkDataFrame 哈希返回到 numPartitions 。

• 3. 返回由给定列分区的新 SparkDataFrame 哈希，使用 spark.sql.shuffle.partitions 作为分区数。

用法：

repartition(x, ...)

## S4 method for signature 'SparkDataFrame'
repartition(x, numPartitions = NULL, col = NULL, ...)

参数：

• x 一个 SparkDataFrame。
• ... 要在分区中使用的附加列。
• numPartitions 要使用的分区数。
• col 将执行分区的列。

注意：

从 1.4.0 开始重新分区

例子：

sparkR.session()
path <- "path/to/file.json"
df <- read.json(path)
newDF <- repartition(df, 2L)
newDF <- repartition(df, numPartitions = 2L)
newDF <- repartition(df, col = df$"col1", df$"col2")
newDF <- repartition(df, 3L, col = df$"col1", df$"col2")