當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

Python pyspark DataFrameWriter.save用法及代碼示例


本文簡要介紹 pyspark.sql.DataFrameWriter.save 的用法。

用法:

DataFrameWriter.save(path=None, format=None, mode=None, partitionBy=None, **options)

將 DataFrame 的內容保存到數據源。

數據源由 format 和一組 options 指定。如果不指定format，則使用spark.sql.sources.default配置的默認數據源。

1.4.0 版中的新函數。

參數：

path：str，可選

Hadoop 支持的文件係統中的路徑

format：str，可選

用於保存的格式

mode：str，可選

指定數據已存在時保存操作的行為。

  • append ：將此 DataFrame 的內容附加到現有數據。

  • overwrite：覆蓋現有數據。

  • ignore：如果數據已存在，則靜默忽略此操作。

  • error 或 errorifexists(默認情況)：如果數據已經存在，則拋出異常。

partitionBy：列表，可選

分區列的名稱

**options：dict

所有其他字符串選項

例子：

>>> df.write.mode("append").save(os.path.join(tempfile.mkdtemp(), 'data'))

相關用法


注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.DataFrameWriter.save。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。