Python pyspark DataFrameWriter.bucketBy用法及代碼示例

按給定列存儲輸出。如果指定，則輸出布局在文件係統上，類似於 Hive 的分桶方案，但具有不同的桶哈希函數，並且與 Hive 的分桶不兼容。

參數：

numBuckets：int

要保存的桶數

col：str、列表或元組

列名或名稱列表。

cols：str

附加名稱(可選)。如果col 是一個列表，它應該是空的。

注意：

適用於與 DataFrameWriter.saveAsTable() 結合使用的基於文件的數據源。

例子：

>>> (df.write.format('parquet')  
...     .bucketBy(100, 'year', 'month')
...     .mode("overwrite")
...     .saveAsTable('bucketed_table'))