R SparkR write.parquet用法及代碼示例

說明：

將 SparkDataFrame 的內容保存為 Parquet 文件，同時保留架構。使用此方法寫出的文件可以使用 read.parquet() 作為 SparkDataFrame 讀回。

用法：

write.parquet(x, path, ...)

## S4 method for signature 'SparkDataFrame,character'
write.parquet(x, path, mode = "error", ...)

參數：

• x 一個 SparkDataFrame
• path 保存文件的目錄
• ... 傳遞給方法的附加參數。您可以找到用於編寫 Parquet 文件的 Parquet-specific 選項https://spark.apache.org/docs/latest/sql-data-sources-parquet.html#data-source-option您使用的版本中的數據源選項。
• mode 'append', 'overwrite', 'error', 'errorifexists', 'ignore'保存模式之一(默認為'error')

注意：

write.parquet 自 1.6.0 起

例子：

sparkR.session()
path <- "path/to/file.json"
df <- read.json(path)
write.parquet(df, "/tmp/sparkr-tmp1/")