R SparkR spark.addFile用法及代码示例

说明：

传递的路径可以是本地文件、HDFS 中的文件(或其他 Hadoop-supported 文件系统)或 HTTP、HTTPS 或 FTP URI。要访问 Spark 作业中的文件，请使用 spark.getSparkFiles(fileName) 查找其下载位置。

用法：

spark.addFile(path, recursive = FALSE)

参数：

• path 要添加的文件的路径
• recursive 是否从路径递归添加文件。默认为假。

细节：

如果 recursive 选项设置为 true，则可以给出一个目录。当前目录仅支持Hadoop-supported 文件系统。请参阅Hadoop-supported 文件系统https://cwiki.apache.org/confluence/display/HADOOP2/HCFS.

注意：一个路径只能添加一次。随后添加的相同路径将被忽略。

注意：

spark.addFile 自 2.1.0

例子：

spark.addFile("~/myfile")