说明:
针对 SparkDataFrame 拟合 k-means 聚类模型,类似于 R 的 kmeans()。用户可以调用summary
打印拟合模型的摘要,调用predict
对新数据进行预测,调用write.ml
/read.ml
保存/加载拟合模型。
用法:
spark.kmeans(data, formula, ...)
## S4 method for signature 'SparkDataFrame,formula'
spark.kmeans(
data,
formula,
k = 2,
maxIter = 20,
initMode = c("k-means||", "random"),
seed = NULL,
initSteps = 2,
tol = 1e-04
)
## S4 method for signature 'KMeansModel'
summary(object)
## S4 method for signature 'KMeansModel'
predict(object, newData)
## S4 method for signature 'KMeansModel,character'
write.ml(object, path, overwrite = FALSE)
参数:
data
用于训练的 SparkDataFrame。formula
要拟合的模型的符号说明。目前仅支持少数公式运算符,包括'~'、'.'、':'、'+'和'-'。注意,公式的响应变量在 spark.kmeans 中为空。...
传递给方法的附加参数。k
中心的数量。maxIter
最大迭代次数。initMode
选择适合模型的初始化算法。seed
集群初始化的随机种子。initSteps
k-means|| 的步数初始化模式。这是一个高级设置,默认值 2 几乎总是足够的。必须 > 0。tol
迭代的收敛容差。object
拟合的k-means 模型。newData
用于测试的 SparkDataFrame。path
保存模型的目录。overwrite
如果输出路径已经存在,是否覆盖。默认为 FALSE,这意味着如果输出路径存在则抛出异常。
返回:
spark.kmeans
返回一个拟合的 k-means 模型。
summary
返回拟合模型的汇总信息,是一个列表。该列表包括模型的k
(配置的聚类中心数)、coefficients
(模型聚类中心)、size
(每个聚类中的数据点数)、cluster
(转换数据的聚类中心) , is.loaded(模型是否从保存的文件中加载),和clusterSize
(实际聚类中心数。使用initMode = "random"时,clusterSize
可能不等于k
)。
predict
返回基于 k-means 模型的预测值。
注意:
spark.kmeans 自 2.0.0 起
摘要(KMeansModel)自 2.0.0 起
从 2.0.0 开始预测(KMeansModel)
write.ml(KMeansModel, character) 自 2.0.0 起
例子:
sparkR.session()
t <- as.data.frame(Titanic)
df <- createDataFrame(t)
model <- spark.kmeans(df, Class ~ Survived, k = 4, initMode = "random")
summary(model)
# fitted values on training data
fitted <- predict(model, df)
head(select(fitted, "Class", "prediction"))
# save fitted model to input path
path <- "path/to/model"
write.ml(model, path)
# can also read back the saved model and print
savedModel <- read.ml(path)
summary(savedModel)
相关用法
- R SparkR spark.kstest用法及代码示例
- R SparkR spark.decisionTree用法及代码示例
- R SparkR spark.powerIterationClustering用法及代码示例
- R SparkR spark.svmLinear用法及代码示例
- R SparkR spark.gaussianMixture用法及代码示例
- R SparkR spark.naiveBayes用法及代码示例
- R SparkR spark.getSparkFiles用法及代码示例
- R SparkR spark.survreg用法及代码示例
- R SparkR spark.lm用法及代码示例
- R SparkR spark.mlp用法及代码示例
- R SparkR spark.fmClassifier用法及代码示例
- R SparkR spark.gbt用法及代码示例
- R SparkR spark.getSparkFilesRootDirectory用法及代码示例
- R SparkR spark.logit用法及代码示例
- R SparkR spark.addFile用法及代码示例
- R SparkR spark.isoreg用法及代码示例
- R SparkR spark.als用法及代码示例
- R SparkR spark.glm用法及代码示例
- R SparkR spark.lapply用法及代码示例
- R SparkR spark.fmRegressor用法及代码示例
注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 K-Means Clustering Model。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。