R SparkR spark.gaussianMixture用法及代碼示例

說明：

針對 SparkDataFrame 擬合多元高斯混合模型，類似於 R 的mvnormalmixEM()。用戶可以調用summary打印擬合模型的摘要，調用predict對新數據進行預測，調用write.ml/read.ml保存/加載擬合模型。

用法：

spark.gaussianMixture(data, formula, ...)

## S4 method for signature 'SparkDataFrame,formula'
spark.gaussianMixture(data, formula, k = 2, maxIter = 100, tol = 0.01)

## S4 method for signature 'GaussianMixtureModel'
summary(object)

## S4 method for signature 'GaussianMixtureModel'
predict(object, newData)

## S4 method for signature 'GaussianMixtureModel,character'
write.ml(object, path, overwrite = FALSE)

參數：

• data 用於訓練的 SparkDataFrame。
• formula 要擬合的模型的符號說明。目前僅支持少數公式運算符，包括'~'、'.'、':'、'+'和'-'。注意，公式的響應變量在 spark.gaussianMixture 中為空。
• ... 傳遞給該方法的附加參數。
• k 混合模型中獨立高斯的數量。
• maxIter 最大迭代次數。
• tol 收斂容差。
• object 擬合高斯混合模型。
• newData 用於測試的 SparkDataFrame。
• path 保存模型的目錄。
• overwrite 如果輸出路徑已經存在，是否覆蓋。默認為 FALSE，這意味著如果輸出路徑存在則拋出異常。

返回：

spark.gaussianMixture 返回擬合的多元高斯混合模型。

summary 返回擬合模型的摘要，這是一個列表。該列表包括模型的lambda (lambda)、mu (mu)、sigma (sigma)、loglik (loglik) 和 posterior (posterior)。

predict 在名為"prediction" 的列中返回包含預測標簽的 SparkDataFrame。

注意：

spark.gaussianMixture 自 2.1.0

摘要(GaussianMixtureModel)自 2.1.0 起

從 2.1.0 開始預測(GaussianMixtureModel)

write.ml(GaussianMixtureModel, character) 自 2.1.0

例子：

sparkR.session()
library(mvtnorm)
set.seed(100)
a <- rmvnorm(4, c(0, 0))
b <- rmvnorm(6, c(3, 4))
data <- rbind(a, b)
df <- createDataFrame(as.data.frame(data))
model <- spark.gaussianMixture(df, ~ V1 + V2, k = 2)
summary(model)

# fitted values on training data
fitted <- predict(model, df)
head(select(fitted, "V1", "prediction"))

# save fitted model to input path
path <- "path/to/model"
write.ml(model, path)

# can also read back the saved model and print
savedModel <- read.ml(path)
summary(savedModel)