Python PySpark RDD coalesce方法用法及代码示例

例子

考虑以下具有 3 个分区的 RDD：

rdd = sc.parallelize(["A","B","C","D","A"], numSlices=3)
rdd.glom().collect()



[['A'], ['B', 'C'], ['D', 'A']]

这里：

• parallelize(~) 创建一个有3个分区的RDD

• glom() 显示每个分区的实际内容。

减少RDD的分区数量

将分区数量减少到 2：

new_rdd = rdd.coalesce(numPartitions=2)
new_rdd.glom().collect()



[['A'], ['B', 'C', 'D', 'A']]

我们可以看到第二个分区与第三个分区合并了。

使用shuffle对RDD进行平衡分区

我们还可以打乱数据，而不是合并分区来减少分区数量：

new_rdd = rdd.coalesce(numPartitions=2, shuffle=True)
new_rdd.glom().collect()



[['A', 'D', 'A'], ['B', 'C']]

正如您所看到的，这会导致分区更加平衡。然而，混洗的缺点是，当数据量很大时，这是一个成本高昂的过程，因为数据必须从一个工作节点传输到另一个工作节点。