Python pyspark DataFrameWriter.bucketBy用法及代码示例

按给定列存储输出。如果指定，则输出布局在文件系统上，类似于 Hive 的分桶方案，但具有不同的桶哈希函数，并且与 Hive 的分桶不兼容。

参数：

numBuckets：int

要保存的桶数

col：str、列表或元组

列名或名称列表。

cols：str

附加名称(可选)。如果col 是一个列表，它应该是空的。

注意：

适用于与 DataFrameWriter.saveAsTable() 结合使用的基于文件的数据源。

例子：

>>> (df.write.format('parquet')  
...     .bucketBy(100, 'year', 'month')
...     .mode("overwrite")
...     .saveAsTable('bucketed_table'))