R SparkR spark.isoreg用法及代码示例

说明：

针对 SparkDataFrame 拟合等渗回归模型，类似于 R 的isoreg()。用户可以对生成的模型进行打印、预测，并将模型保存到输入路径。

用法：

spark.isoreg(data, formula, ...)

## S4 method for signature 'SparkDataFrame,formula'
spark.isoreg(
  data,
  formula,
  isotonic = TRUE,
  featureIndex = 0,
  weightCol = NULL
)

## S4 method for signature 'IsotonicRegressionModel'
summary(object)

## S4 method for signature 'IsotonicRegressionModel'
predict(object, newData)

## S4 method for signature 'IsotonicRegressionModel,character'
write.ml(object, path, overwrite = FALSE)

参数：

• data SparkDataFrame 用于训练。
• formula 要拟合的模型的符号说明。目前仅支持少数公式运算符，包括'~'、'.'、':'、'+'和'-'。
• ... 传递给该方法的附加参数。
• isotonic 输出序列应该是等渗/递增 (TRUE) 还是反渗/递减 (FALSE)。
• featureIndex 如果featuresCol 是向量列(默认值：0)，则为特征的索引，否则无效。
• weightCol 权重列名称。
• object 拟合的等渗回归模型。
• newData SparkDataFrame 用于测试。
• path 保存模型的目录。
• overwrite 如果输出路径已经存在，是否覆盖。默认为 FALSE，这意味着如果输出路径存在则抛出异常。

返回：

spark.isoreg 返回拟合的等渗回归模型。

summary 返回拟合模型的汇总信息，是一个列表。该列表包括模型的boundaries(按升序排列的边界)和predictions(与同一索引处的边界关联的预测)。

predict 返回包含预测值的 SparkDataFrame。

注意：

spark.isoreg 自 2.1.0 起

摘要(等渗回归模型)自 2.1.0 起

从 2.1.0 开始预测(等渗回归模型)

write.ml(IsotonicRegression, character) 自 2.1.0

例子：

sparkR.session()
data <- list(list(7.0, 0.0), list(5.0, 1.0), list(3.0, 2.0),
        list(5.0, 3.0), list(1.0, 4.0))
df <- createDataFrame(data, c("label", "feature"))
model <- spark.isoreg(df, label ~ feature, isotonic = FALSE)
# return model boundaries and prediction as lists
result <- summary(model, df)
# prediction based on fitted model
predict_data <- list(list(-2.0), list(-1.0), list(0.5),
                list(0.75), list(1.0), list(2.0), list(9.0))
predict_df <- createDataFrame(predict_data, c("feature"))
# get prediction column
predict_result <- collect(select(predict(model, predict_df), "prediction"))

# save fitted model to input path
path <- "path/to/model"
write.ml(model, path)

# can also read back the saved model and print
savedModel <- read.ml(path)
summary(savedModel)