R butcher axe-spark 砍掉一个Spark物体。

Spark 对象是从Spark包，一个RApache Spark 的接口。 Spark 对象可用的 ax 方法被设计为保持互操作性。换句话说，对于多语言机器学习团队来说，从实例化的 Spark 对象中删除了Spark仍然可以序列化到磁盘、在 Python 中工作、部署在 Scala 上等。这里还值得注意的是，从Spark附加了很多元数据，包括但不限于公式、数据集、模型、索引标签等。提供的 ax 函数用于在保存到磁盘或从磁盘加载之前解析模型对象。传统的R保存函数不适用于这些对象，因此提供了函数sparklyr::ml_save。此函数使用户可以选择保留pipeline_model或者pipeline，因此这两个对象都不会被删除，但删除其中一个可能有助于释放磁盘上的内存。

用法

# S3 method for ml_model
axe_call(x, verbose = FALSE, ...)

# S3 method for ml_model
axe_ctrl(x, verbose = FALSE, ...)

# S3 method for ml_model
axe_data(x, verbose = FALSE, ...)

# S3 method for ml_model
axe_fitted(x, verbose = FALSE, ...)

参数

x: 一个模型对象。
verbose: 每次执行 ax 方法时打印信息。记录释放了多少内存以及禁用了哪些函数。默认为 FALSE 。
...: 与砍伐相关的任何其他参数。

值

斧头Spark物体。

例子

if (FALSE) {
library(sparklyr)

sc <- spark_connect(master = "local")

iris_tbls <- sdf_copy_to(sc, iris, overwrite = TRUE) %>%
  sdf_random_split(train = 2/3, validation = 2/3, seed = 2018)

train <- iris_tbls$train
spark_fit <- ml_logistic_regression(train, Species ~ .)

out <- butcher(spark_fit, verbose = TRUE)

spark_disconnect(sc)
}

源代码：R/spark.R

相关用法

注：本文由纯净天空筛选整理自Davis Vaughan等大神的英文原创作品 Axing a spark object.。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。