R SparkR sparkR.init用法及代码示例

说明：

这个函数初始化一个新的 SparkContext。

用法：

sparkR.init(
  master = "",
  appName = "SparkR",
  sparkHome = Sys.getenv("SPARK_HOME"),
  sparkEnvir = list(),
  sparkExecutorEnv = list(),
  sparkJars = "",
  sparkPackages = ""
)

参数：

• master Spark 主 URL
• appName 向集群管理器注册的应用程序名称
• sparkHome 星火主目录
• sparkEnvir 要在工作节点上设置的环境变量的命名列表
• sparkExecutorEnv 启动执行程序时要使用的环境变量的命名列表
• sparkJars 要传递给工作节点的 jar 文件的字符向量
• sparkPackages 包坐标的特征向量

注意：

sparkR.init 从 1.4.0 开始

例子：

sc <- sparkR.init("local[2]", "SparkR", "/home/spark")
sc <- sparkR.init("local[2]", "SparkR", "/home/spark",
                 list(spark.executor.memory="1g"))
sc <- sparkR.init("yarn-client", "SparkR", "/home/spark",
                 list(spark.executor.memory="4g"),
                 list(LD_LIBRARY_PATH="/directory of JVM libraries (libjvm.so) on workers/"),
                 c("one.jar", "two.jar", "three.jar"),
                 c("com.databricks:spark-avro_2.11:2.0.1"))