Python PySpark RDD partitionBy方法用法及代碼示例

例子

重新分區一對 RDD

考慮以下 RDD：

# Create a RDD with 3 partitions
rdd = sc.parallelize([("A",1),("B",1),("C",1),("A",1)], numSlices=3)
rdd.collect()



[('A', 1), ('B', 1), ('C', 1), ('A', 1)]

要查看此 RDD 如何分區，請使用 glom() 方法：

rdd.glom().collect()



[[('A', 1)], [('B', 1)], [('C', 1), ('A', 1)]]

我們確實可以看到有3個分區：

• 分區一：('A',1) 和 ('B',1)

• 分區二：('C',1)

• 分區三：('A',1)

重新分區為 2 個分區：

new_rdd = rdd.partitionBy(numPartitions=2)
new_rdd.collect()



[('C', 1), ('A', 1), ('B', 1), ('A', 1)]

要查看新分區的內容：

new_rdd.glom().collect()



[[('C', 1)], [('A', 1), ('B', 1), ('A', 1)]]

我們確實可以看到有2個分區：

• 分區一：('C',1)

• 分區二：('A',1)、('B',1)、('A', 1)

請注意帶有 A 鍵的元組如何最終位於同一分區中。這是肯定會發生的，因為哈希分區器將根據元組鍵執行分桶。