R butcher axe-spark 砍掉一個Spark物體。

Spark 對象是從Spark包，一個RApache Spark 的接口。 Spark 對象可用的 ax 方法被設計為保持互操作性。換句話說，對於多語言機器學習團隊來說，從實例化的 Spark 對象中刪除了Spark仍然可以序列化到磁盤、在 Python 中工作、部署在 Scala 上等。這裏還值得注意的是，從Spark附加了很多元數據，包括但不限於公式、數據集、模型、索引標簽等。提供的 ax 函數用於在保存到磁盤或從磁盤加載之前解析模型對象。傳統的R保存函數不適用於這些對象，因此提供了函數sparklyr::ml_save。此函數使用戶可以選擇保留pipeline_model或者pipeline，因此這兩個對象都不會被刪除，但刪除其中一個可能有助於釋放磁盤上的內存。

用法

# S3 method for ml_model
axe_call(x, verbose = FALSE, ...)

# S3 method for ml_model
axe_ctrl(x, verbose = FALSE, ...)

# S3 method for ml_model
axe_data(x, verbose = FALSE, ...)

# S3 method for ml_model
axe_fitted(x, verbose = FALSE, ...)

參數

x: 一個模型對象。
verbose: 每次執行 ax 方法時打印信息。記錄釋放了多少內存以及禁用了哪些函數。默認為 FALSE 。
...: 與砍伐相關的任何其他參數。

值

斧頭Spark物體。

例子

if (FALSE) {
library(sparklyr)

sc <- spark_connect(master = "local")

iris_tbls <- sdf_copy_to(sc, iris, overwrite = TRUE) %>%
  sdf_random_split(train = 2/3, validation = 2/3, seed = 2018)

train <- iris_tbls$train
spark_fit <- ml_logistic_regression(train, Species ~ .)

out <- butcher(spark_fit, verbose = TRUE)

spark_disconnect(sc)
}

源代碼：R/spark.R

相關用法

注：本文由純淨天空篩選整理自Davis Vaughan等大神的英文原創作品 Axing a spark object.。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。