當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

Python pyspark bucket用法及代碼示例


本文簡要介紹 pyspark.sql.functions.bucket 的用法。

用法:

pyspark.sql.functions.bucket(numBuckets, col)

分區變換函數：按輸入列的哈希分區的任何類型的變換。

版本 3.1.0 中的新函數。

注意：

此函數隻能與 DataFrameWriterV2 的 partitionedBy() 方法結合使用。

例子：

>>> df.writeTo("catalog.db.table").partitionedBy(  
...     bucket(42, "ts")
... ).createOrReplace()

相關用法


注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.functions.bucket。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。