R SparkR sparkR.init用法及代碼示例

說明：

這個函數初始化一個新的 SparkContext。

用法：

sparkR.init(
  master = "",
  appName = "SparkR",
  sparkHome = Sys.getenv("SPARK_HOME"),
  sparkEnvir = list(),
  sparkExecutorEnv = list(),
  sparkJars = "",
  sparkPackages = ""
)

參數：

• master Spark 主 URL
• appName 向集群管理器注冊的應用程序名稱
• sparkHome 星火主目錄
• sparkEnvir 要在工作節點上設置的環境變量的命名列表
• sparkExecutorEnv 啟動執行程序時要使用的環境變量的命名列表
• sparkJars 要傳遞給工作節點的 jar 文件的字符向量
• sparkPackages 包坐標的特征向量

注意：

sparkR.init 從 1.4.0 開始

例子：

sc <- sparkR.init("local[2]", "SparkR", "/home/spark")
sc <- sparkR.init("local[2]", "SparkR", "/home/spark",
                 list(spark.executor.memory="1g"))
sc <- sparkR.init("yarn-client", "SparkR", "/home/spark",
                 list(spark.executor.memory="4g"),
                 list(LD_LIBRARY_PATH="/directory of JVM libraries (libjvm.so) on workers/"),
                 c("one.jar", "two.jar", "three.jar"),
                 c("com.databricks:spark-avro_2.11:2.0.1"))