當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

Python pyspark DataFrameWriter.parquet用法及代碼示例


本文簡要介紹 pyspark.sql.DataFrameWriter.parquet 的用法。

用法:

DataFrameWriter.parquet(path, mode=None, partitionBy=None, compression=None)

將 DataFrame 的內容以 Parquet 格式保存在指定路徑。

1.4.0 版中的新函數。

參數：

path：str

任何 Hadoop 支持的文件係統中的路徑

mode：str，可選

指定數據已存在時保存操作的行為。

  • append ：將此 DataFrame 的內容附加到現有數據。

  • overwrite：覆蓋現有數據。

  • ignore：如果數據已存在，則靜默忽略此操作。

  • error 或 errorifexists(默認情況)：如果數據已經存在，則拋出異常。

partitionBy：str 或列表，可選

分區列的名稱

其他參數：

Extra options：

有關額外選項，請參閱您使用的版本中的Data Source Option。

例子：

>>> df.write.parquet(os.path.join(tempfile.mkdtemp(), 'data'))

相關用法


注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.DataFrameWriter.parquet。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。