Python PySpark RDD coalesce方法用法及代碼示例

例子

考慮以下具有 3 個分區的 RDD：

rdd = sc.parallelize(["A","B","C","D","A"], numSlices=3)
rdd.glom().collect()



[['A'], ['B', 'C'], ['D', 'A']]

這裏：

• parallelize(~) 創建一個有3個分區的RDD

• glom() 顯示每個分區的實際內容。

減少RDD的分區數量

將分區數量減少到 2：

new_rdd = rdd.coalesce(numPartitions=2)
new_rdd.glom().collect()



[['A'], ['B', 'C', 'D', 'A']]

我們可以看到第二個分區與第三個分區合並了。

使用shuffle對RDD進行平衡分區

我們還可以打亂數據，而不是合並分區來減少分區數量：

new_rdd = rdd.coalesce(numPartitions=2, shuffle=True)
new_rdd.glom().collect()



[['A', 'D', 'A'], ['B', 'C']]

正如您所看到的，這會導致分區更加平衡。然而，混洗的缺點是，當數據量很大時，這是一個成本高昂的過程，因為數據必須從一個工作節點傳輸到另一個工作節點。