R SparkR write.df用法及代碼示例

說明：

數據源由source 和一組選項 (...) 指定。如果不指定source，則使用spark.sql.sources.default配置的默認數據源。

用法：

write.df(df, path = NULL, ...)

saveDF(df, path, source = NULL, mode = "error", ...)

write.df(df, path = NULL, ...)

## S4 method for signature 'SparkDataFrame'
write.df(
  df,
  path = NULL,
  source = NULL,
  mode = "error",
  partitionBy = NULL,
  ...
)

## S4 method for signature 'SparkDataFrame,character'
saveDF(df, path, source = NULL, mode = "error", ...)

參數：

• df 一個 SparkDataFrame。
• path 表的名稱。
• ... 傳遞給方法的附加參數。
• source 外部數據源的名稱。
• mode 'append', 'overwrite', 'error', 'errorifexists', 'ignore'保存模式之一(默認為'error')
• partitionBy 用於在文件係統上對輸出進行分區的名稱或列名稱列表。如果指定，則輸出布局在文件係統上，類似於 Hive 的分區方案。

細節：

此外，模式用於指定數據源中已存在數據時保存操作的行為。有四種模式：

• 'append'：此 SparkDataFrame 的內容應附加到現有數據中。

• 'overwrite'：現有數據預計將被此 SparkDataFrame 的內容覆蓋。

• 'error' 或'errorifexists'：預計會拋出異常。

• 'ignore'：保存操作預計不會保存 SparkDataFrame 的內容，也不會更改現有數據。

注意：

write.df 從 1.4.0 開始

saveDF 從 1.4.0 開始

例子：

sparkR.session()
path <- "path/to/file.json"
df <- read.json(path)
write.df(df, "myfile", "parquet", "overwrite", partitionBy = c("col1", "col2"))
saveDF(df, parquetPath2, "parquet", mode = "append", mergeSchema = TRUE)