R SparkR write.df用法及代码示例

说明：

数据源由source 和一组选项 (...) 指定。如果不指定source，则使用spark.sql.sources.default配置的默认数据源。

用法：

write.df(df, path = NULL, ...)

saveDF(df, path, source = NULL, mode = "error", ...)

write.df(df, path = NULL, ...)

## S4 method for signature 'SparkDataFrame'
write.df(
  df,
  path = NULL,
  source = NULL,
  mode = "error",
  partitionBy = NULL,
  ...
)

## S4 method for signature 'SparkDataFrame,character'
saveDF(df, path, source = NULL, mode = "error", ...)

参数：

• df 一个 SparkDataFrame。
• path 表的名称。
• ... 传递给方法的附加参数。
• source 外部数据源的名称。
• mode 'append', 'overwrite', 'error', 'errorifexists', 'ignore'保存模式之一(默认为'error')
• partitionBy 用于在文件系统上对输出进行分区的名称或列名称列表。如果指定，则输出布局在文件系统上，类似于 Hive 的分区方案。

细节：

此外，模式用于指定数据源中已存在数据时保存操作的行为。有四种模式：

• 'append'：此 SparkDataFrame 的内容应附加到现有数据中。

• 'overwrite'：现有数据预计将被此 SparkDataFrame 的内容覆盖。

• 'error' 或'errorifexists'：预计会抛出异常。

• 'ignore'：保存操作预计不会保存 SparkDataFrame 的内容，也不会更改现有数据。

注意：

write.df 从 1.4.0 开始

saveDF 从 1.4.0 开始

例子：

sparkR.session()
path <- "path/to/file.json"
df <- read.json(path)
write.df(df, "myfile", "parquet", "overwrite", partitionBy = c("col1", "col2"))
saveDF(df, parquetPath2, "parquet", mode = "append", mergeSchema = TRUE)