R SparkR spark.addFile用法及代碼示例

說明：

傳遞的路徑可以是本地文件、HDFS 中的文件(或其他 Hadoop-supported 文件係統)或 HTTP、HTTPS 或 FTP URI。要訪問 Spark 作業中的文件，請使用 spark.getSparkFiles(fileName) 查找其下載位置。

用法：

spark.addFile(path, recursive = FALSE)

參數：

• path 要添加的文件的路徑
• recursive 是否從路徑遞歸添加文件。默認為假。

細節：

如果 recursive 選項設置為 true，則可以給出一個目錄。當前目錄僅支持Hadoop-supported 文件係統。請參閱Hadoop-supported 文件係統https://cwiki.apache.org/confluence/display/HADOOP2/HCFS.

注意：一個路徑隻能添加一次。隨後添加的相同路徑將被忽略。

注意：

spark.addFile 自 2.1.0

例子：

spark.addFile("~/myfile")