R SparkR write.parquet用法及代码示例

说明：

将 SparkDataFrame 的内容保存为 Parquet 文件，同时保留架构。使用此方法写出的文件可以使用 read.parquet() 作为 SparkDataFrame 读回。

用法：

write.parquet(x, path, ...)

## S4 method for signature 'SparkDataFrame,character'
write.parquet(x, path, mode = "error", ...)

参数：

• x 一个 SparkDataFrame
• path 保存文件的目录
• ... 传递给方法的附加参数。您可以找到用于编写 Parquet 文件的 Parquet-specific 选项https://spark.apache.org/docs/latest/sql-data-sources-parquet.html#data-source-option您使用的版本中的数据源选项。
• mode 'append', 'overwrite', 'error', 'errorifexists', 'ignore'保存模式之一(默认为'error')

注意：

write.parquet 自 1.6.0 起

例子：

sparkR.session()
path <- "path/to/file.json"
df <- read.json(path)
write.parquet(df, "/tmp/sparkr-tmp1/")