Python PySpark DataFrame repartition方法用法及代码示例

例子

对 PySpark DataFrame 进行分区

考虑以下PySpark DataFrame：

df = spark.createDataFrame([("Alex", 20), ("Bob", 30), ("Cathy", 40)], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

默认情况下，分区数量取决于 PySpark 配置的并行级别：

df.rdd.getNumPartitions()



8

就我而言，我们的 PySpark DataFrame 默认分为 8 个分区。

我们可以看到 DataFrame 的行是如何使用底层 RDD 的 glom() 方法进行分区的：

df.rdd.glom().collect()



[[],
 [],
 [Row(name='Alex', age=20)],
 [],
 [],
 [Row(name='Bob', age=30)],
 [],
 [Row(name='Cathy', age=40)]]

在这里，我们可以看到确实有 8 个分区，但其中只有 3 个分区中有Row。

现在，让我们重新分区 DataFrame，使行仅分为 2 个分区：

df_new = df.repartition(2)
df_new.rdd.getNumPartitions()



2

重新分区的 DataFrame 中的行分布现在是：

df_new.rdd.glom().collect()



[[Row(name='Alex', age=20),
  Row(name='Bob', age=30),
  Row(name='Cathy', age=40)],
 []]

如此处所示，无法保证行将均匀分布在分区中。

按列值对 PySpark DataFrame 进行分区

考虑以下PySpark DataFrame：

df = spark.createDataFrame([("Alex", 20), ("Bob", 30), ("Cathy", 40), ("Alex", 50)], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
| Alex| 50|
+-----+---+

要按列 name 将此 PySpark DataFrame 重新分区为 2 个分区：

df_new = df.repartition(2, "name")
df_new.rdd.glom().collect()



[[Row(name='Alex', age=20),
  Row(name='Cathy', age=40),
  Row(name='Alex', age=50)],
 [Row(name='Bob', age=30)]]

在这里，请注意 name 具有相同值的行(在本例中为 'Alex')最终位于同一分区中。

我们还可以按多个列值重新分区：

df_new = df.repartition(4, "name", "age")
df_new.rdd.glom().collect()



[[Row(name='Alex', age=20)],
 [Row(name='Bob', age=30)],
 [Row(name='Alex', age=50)],
 [Row(name='Cathy', age=40)]]

在这里，我们将 name 和 age 列重新分区为 4 分区。

我们还可以通过仅指定列标签来使用默认的分区数：

df_new = df.repartition("name")
df_new.rdd.getNumPartitions()



1