当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


R SparkR write.df用法及代码示例


说明:

数据源由source 和一组选项 (...) 指定。如果不指定source,则使用spark.sql.sources.default配置的默认数据源。

用法:

write.df(df, path = NULL, ...)

saveDF(df, path, source = NULL, mode = "error", ...)

write.df(df, path = NULL, ...)

## S4 method for signature 'SparkDataFrame'
write.df(
  df,
  path = NULL,
  source = NULL,
  mode = "error",
  partitionBy = NULL,
  ...
)

## S4 method for signature 'SparkDataFrame,character'
saveDF(df, path, source = NULL, mode = "error", ...)

参数:

  • df 一个 SparkDataFrame。
  • path 表的名称。
  • ... 传递给方法的附加参数。
  • source 外部数据源的名称。
  • mode 'append', 'overwrite', 'error', 'errorifexists', 'ignore'保存模式之一(默认为'error')
  • partitionBy 用于在文件系统上对输出进行分区的名称或列名称列表。如果指定,则输出布局在文件系统上,类似于 Hive 的分区方案。

细节:

此外,模式用于指定数据源中已存在数据时保存操作的行为。有四种模式:

  • 'append':此 SparkDataFrame 的内容应附加到现有数据中。

  • 'overwrite':现有数据预计将被此 SparkDataFrame 的内容覆盖。

  • 'error' 或'errorifexists':预计会抛出异常。

  • 'ignore':保存操作预计不会保存 SparkDataFrame 的内容,也不会更改现有数据。

注意:

write.df 从 1.4.0 开始

saveDF 从 1.4.0 开始

例子:

sparkR.session()
path <- "path/to/file.json"
df <- read.json(path)
write.df(df, "myfile", "parquet", "overwrite", partitionBy = c("col1", "col2"))
saveDF(df, parquetPath2, "parquet", mode = "append", mergeSchema = TRUE)

相关用法


注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 Save the contents of SparkDataFrame to a data source.。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。