Python pyspark RDD.repartition用法及代码示例

本文简要介绍 pyspark.RDD.repartition 的用法。

用法: RDD.repartition(numPartitions)

返回一个新的 RDD，它正好有 numPartitions 个分区。

可以增加或减少此 RDD 中的并行度。在内部，这使用 shuffle 重新分配数据。如果要减少此 RDD 中的分区数，请考虑使用 coalesce ，这样可以避免执行Shuffle[洗牌]。

例子：

>>> rdd = sc.parallelize([1,2,3,4,5,6,7], 4)
>>> sorted(rdd.glom().collect())
[[1], [2, 3], [4, 5], [6, 7]]
>>> len(rdd.repartition(2).glom().collect())
2
>>> len(rdd.repartition(10).glom().collect())
10

相关用法

Python pyspark RDD.repartitionAndSortWithinPartitions用法及代码示例
Python pyspark RDD.reduceByKeyLocally用法及代码示例
Python pyspark RDD.reduce用法及代码示例
Python pyspark RDD.reduceByKey用法及代码示例
Python pyspark RDD.randomSplit用法及代码示例
Python pyspark RDD.rightOuterJoin用法及代码示例
Python pyspark RDD.saveAsTextFile用法及代码示例
Python pyspark RDD.keyBy用法及代码示例
Python pyspark RDD.sumApprox用法及代码示例
Python pyspark RDD.lookup用法及代码示例
Python pyspark RDD.zipWithIndex用法及代码示例
Python pyspark RDD.sampleByKey用法及代码示例
Python pyspark RDD.coalesce用法及代码示例
Python pyspark RDD.subtract用法及代码示例
Python pyspark RDD.count用法及代码示例
Python pyspark RDD.groupWith用法及代码示例
Python pyspark RDD.distinct用法及代码示例
Python pyspark RDD.treeAggregate用法及代码示例
Python pyspark RDD.mapPartitionsWithIndex用法及代码示例
Python pyspark RDD.foreachPartition用法及代码示例
Python pyspark RDD.zipWithUniqueId用法及代码示例
Python pyspark RDD.sortByKey用法及代码示例
Python pyspark RDD.takeOrdered用法及代码示例
Python pyspark RDD.collectAsMap用法及代码示例
Python pyspark RDD.countApproxDistinct用法及代码示例

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.RDD.repartition。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。