當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

Python pyspark DataFrame.spark.repartition用法及代碼示例


本文簡要介紹 pyspark.pandas.DataFrame.spark.repartition 的用法。

用法:

spark.repartition(num_partitions: int) → ps.DataFrame

返回由給定分區表達式分區的新DataFrame。生成的 DataFrame 已進行哈希分區。

參數：

num_partitions：int

目標分區數。

返回：

DataFrame

例子：

>>> psdf = ps.DataFrame({"age": [5, 5, 2, 2],
...         "name": ["Bob", "Bob", "Alice", "Alice"]}).set_index("age")
>>> psdf.sort_index()  
      name
age
2    Alice
2    Alice
5      Bob
5      Bob
>>> new_psdf = psdf.spark.repartition(7)
>>> new_psdf.to_spark().rdd.getNumPartitions()
7
>>> new_psdf.sort_index()   
      name
age
2    Alice
2    Alice
5      Bob
5      Bob

相關用法


注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.DataFrame.spark.repartition。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。