当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


R SparkR spark.addFile用法及代码示例


说明:

传递的路径可以是本地文件、HDFS 中的文件(或其他 Hadoop-supported 文件系统)或 HTTP、HTTPS 或 FTP URI。要访问 Spark 作业中的文件,请使用 spark.getSparkFiles(fileName) 查找其下载位置。

用法:

spark.addFile(path, recursive = FALSE)

参数:

  • path 要添加的文件的路径
  • recursive 是否从路径递归添加文件。默认为假。

细节:

如果 recursive 选项设置为 true,则可以给出一个目录。当前目录仅支持Hadoop-supported 文件系统。请参阅Hadoop-supported 文件系统https://cwiki.apache.org/confluence/display/HADOOP2/HCFS.

注意:一个路径只能添加一次。随后添加的相同路径将被忽略。

注意:

spark.addFile 自 2.1.0

例子:

spark.addFile("~/myfile")

相关用法


注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 Add a file or directory to be downloaded with this Spark job on every node.。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。