当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python pyspark DataFrame.spark.repartition用法及代码示例


本文简要介绍 pyspark.pandas.DataFrame.spark.repartition 的用法。

用法:

spark.repartition(num_partitions: int) → ps.DataFrame

返回由给定分区表达式分区的新DataFrame。生成的 DataFrame 已进行哈希分区。

参数：

num_partitions：int

目标分区数。

返回：

DataFrame

例子：

>>> psdf = ps.DataFrame({"age": [5, 5, 2, 2],
...         "name": ["Bob", "Bob", "Alice", "Alice"]}).set_index("age")
>>> psdf.sort_index()  
      name
age
2    Alice
2    Alice
5      Bob
5      Bob
>>> new_psdf = psdf.spark.repartition(7)
>>> new_psdf.to_spark().rdd.getNumPartitions()
7
>>> new_psdf.sort_index()   
      name
age
2    Alice
2    Alice
5      Bob
5      Bob

相关用法


注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.pandas.DataFrame.spark.repartition。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。