R SparkR install.spark用法及代碼示例

說明：

install.spark 下載 Spark 並將其安裝到本地目錄(如果找不到)。如果在環境中設置了SPARK_HOME，並且找到了該目錄，則返回該目錄。我們使用的 Spark 版本與 SparkR 版本相同。用戶可以指定所需的 Hadoop 版本、遠程鏡像站點以及本地安裝包的目錄。

用法：

install.spark(
  hadoopVersion = "2.7",
  mirrorUrl = NULL,
  localDir = NULL,
  overwrite = FALSE
)

參數：

• hadoopVersion 要安裝的 Hadoop 版本。默認為 "2.7" 。它可以采用 "x.y" 格式的其他版本號，其中 x 和 y 是整數。如果 hadoopVersion = "without" ，則安裝 "Hadoop free" 構建。有關詳細信息，請參閱"Hadoop Free" Build。也可以使用其他補丁版本名稱，例如"cdh4"
• mirrorUrl 要使用的存儲庫的基本 URL。目錄布局應遵循 Apache mirrors 。
• localDir 安裝 Spark 的本地目錄。該目錄包含 Spark 包的 version-specific 個文件夾。默認是緩存目錄的路徑：
  • Mac OS X: '〜/ Library /緩存/Spark’
  • Unix：$XDG_CACHE_HOME如果定義，否則'~/.cache/spark’
  • 窗戶：'%LOCALAPPDATA%\Apache\Spark\Cache’。
• overwrite 如果 TRUE ，下載並覆蓋 localDir 中現有的 tar 文件並強製重新安裝 Spark(以防本地目錄或文件損壞)

細節：

從 mirrorUrl 和 hadoopVersion 推斷出遠程文件的完整 url。 mirrorUrl 指定 Spark 文件夾的遠程路徑。它後麵是一個以 Spark 版本命名的子文件夾(對應於 SparkR)，然後是 tar 文件名。文件名由四部分組成，即[Spark版本]-bin-[Hadoop版本].tgz。例如，來自 http://apache.osuosl.org 的 Hadoop 2.7 的 Spark 2.0.0 包的完整路徑具有路徑：http://apache.osuosl.org/spark/spark-2.0.0/spark-2.0.0-bin-hadoop2.7.tgz。對於 hadoopVersion = "without" ，文件名中的 [Hadoop 版本] 則為 without-hadoop 。

返回：

找到或安裝 Spark 的(不可見的)本地目錄

注意：

install.spark 從 2.1.0 開始

例子：

install.spark()