Python pyspark RDD.repartition用法及代碼示例

本文簡要介紹 pyspark.RDD.repartition 的用法。

用法: RDD.repartition(numPartitions)

返回一個新的 RDD，它正好有 numPartitions 個分區。

可以增加或減少此 RDD 中的並行度。在內部，這使用 shuffle 重新分配數據。如果要減少此 RDD 中的分區數，請考慮使用 coalesce ，這樣可以避免執行Shuffle[洗牌]。

例子：

>>> rdd = sc.parallelize([1,2,3,4,5,6,7], 4)
>>> sorted(rdd.glom().collect())
[[1], [2, 3], [4, 5], [6, 7]]
>>> len(rdd.repartition(2).glom().collect())
2
>>> len(rdd.repartition(10).glom().collect())
10

相關用法

Python pyspark RDD.repartitionAndSortWithinPartitions用法及代碼示例
Python pyspark RDD.reduceByKeyLocally用法及代碼示例
Python pyspark RDD.reduce用法及代碼示例
Python pyspark RDD.reduceByKey用法及代碼示例
Python pyspark RDD.randomSplit用法及代碼示例
Python pyspark RDD.rightOuterJoin用法及代碼示例
Python pyspark RDD.saveAsTextFile用法及代碼示例
Python pyspark RDD.keyBy用法及代碼示例
Python pyspark RDD.sumApprox用法及代碼示例
Python pyspark RDD.lookup用法及代碼示例
Python pyspark RDD.zipWithIndex用法及代碼示例
Python pyspark RDD.sampleByKey用法及代碼示例
Python pyspark RDD.coalesce用法及代碼示例
Python pyspark RDD.subtract用法及代碼示例
Python pyspark RDD.count用法及代碼示例
Python pyspark RDD.groupWith用法及代碼示例
Python pyspark RDD.distinct用法及代碼示例
Python pyspark RDD.treeAggregate用法及代碼示例
Python pyspark RDD.mapPartitionsWithIndex用法及代碼示例
Python pyspark RDD.foreachPartition用法及代碼示例
Python pyspark RDD.zipWithUniqueId用法及代碼示例
Python pyspark RDD.sortByKey用法及代碼示例
Python pyspark RDD.takeOrdered用法及代碼示例
Python pyspark RDD.collectAsMap用法及代碼示例
Python pyspark RDD.countApproxDistinct用法及代碼示例

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.RDD.repartition。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。