R SparkR spark.logit用法及代碼示例

說明：

針對 SparkDataFrame 擬合邏輯回歸模型。它支持"binomial"：帶旋轉的二元邏輯回歸； "multinomial"：多項式邏輯(softmax)回歸，無需旋轉，類似於 glmnet。用戶可以對生成的模型進行打印、預測，並將模型保存到輸入路徑。

用法：

spark.logit(data, formula, ...)

## S4 method for signature 'SparkDataFrame,formula'
spark.logit(
  data,
  formula,
  regParam = 0,
  elasticNetParam = 0,
  maxIter = 100,
  tol = 1e-06,
  family = "auto",
  standardization = TRUE,
  thresholds = 0.5,
  weightCol = NULL,
  aggregationDepth = 2,
  lowerBoundsOnCoefficients = NULL,
  upperBoundsOnCoefficients = NULL,
  lowerBoundsOnIntercepts = NULL,
  upperBoundsOnIntercepts = NULL,
  handleInvalid = c("error", "keep", "skip")
)

## S4 method for signature 'LogisticRegressionModel'
summary(object)

## S4 method for signature 'LogisticRegressionModel'
predict(object, newData)

## S4 method for signature 'LogisticRegressionModel,character'
write.ml(object, path, overwrite = FALSE)

參數：

• data SparkDataFrame 用於訓練。
• formula 要擬合的模型的符號說明。目前僅支持少數公式運算符，包括'~'、'.'、':'、'+'和'-'。
• ... 傳遞給該方法的附加參數。
• regParam 正則化參數。
• elasticNetParam ElasticNet 混合參數。對於 alpha = 0.0，懲罰是 L2 懲罰。對於 alpha = 1.0，這是 L1 懲罰。對於 0.0 < alpha < 1.0，懲罰是 L1 和 L2 的組合。默認值為 0.0，這是 L2 懲罰。
• maxIter 最大迭代次數。
• tol 迭代的收斂容差。
• family 族的名稱，它是模型中要使用的標簽分布的說明。支持的選項：
  • "auto"：根據類數自動選擇族：如果類數== 1 ||類數 == 2，設置為 "binomial"。否則，設置為"multinomial"。
  • "binomial"：帶旋轉的二元邏輯回歸。
  • "multinomial"：多項邏輯(softmax)回歸，無需旋轉。
• standardization 是否在擬合模型之前對訓練特征進行標準化。模型的係數將始終按原始比例返回，因此對用戶來說是透明的。請注意，無論有無標準化，當不應用正則化時，模型應始終收斂到相同的解決方案。默認為 TRUE，與 glmnet 相同。
• thresholds 在二進製分類中，在 [0, 1] 範圍內。如果類標簽 1 的估計概率 > 閾值，則預測 1，否則為 0。高閾值鼓勵模型更頻繁地預測 0；低閾值鼓勵模型更頻繁地預測 1。注意：使用閾值 p 設置此值等同於設置閾值 c(1-p, p)。在多類(或二元)分類中調整預測每個類的概率。數組的長度必須等於類的數量，其值 > 0，除了最多一個值可能是 0。預測具有最大值 p/t 的類，其中 p 是該類的原始概率，t 是類的門檻。
• weightCol 權重列名稱。
• aggregationDepth treeAggregate 的深度(大於或等於 2)。如果特征的維度或分區的數量很大，可以將此參數調整為更大的大小。這是一個專家參數。對於大多數情況，默認值應該是好的。
• lowerBoundsOnCoefficients 如果在有界約束優化下擬合，則係數的下限。綁定矩陣必須與二項式回歸的形狀(1，特征數)或多項式回歸的形狀(類數，特征數)兼容。是一個 R 矩陣。
• upperBoundsOnCoefficients 如果在有界約束優化下擬合，則係數的上限。綁定矩陣必須與二項式回歸的形狀(1，特征數)或多項式回歸的形狀(類數，特征數)兼容。是一個 R 矩陣。
• lowerBoundsOnIntercepts 如果在邊界約束優化下擬合，則截距的下限。對於二項式回歸，邊界向量大小必須等於 1，或者對於多項式回歸，邊界向量大小必須等於 1。
• upperBoundsOnIntercepts 如果在邊界約束優化下擬合，則截距的上限。對於二項式回歸，綁定向量大小必須等於 1，或者對於多項式回歸，必須等於類數。
• handleInvalid 如何處理字符串類型的特征和標簽列中的無效數據(看不見的標簽或 NULL 值)。支持的選項："skip"(過濾掉包含無效數據的行)、"error"(拋出錯誤)、"keep"(將無效數據放入特殊的附加存儲桶中，索引為 numLabels)。默認為"error"。
• object 由 spark.logit 擬合的 LogisticRegressionModel。
• newData 用於測試的 SparkDataFrame。
• path 保存模型的目錄。
• overwrite 如果輸出路徑已經存在，是否覆蓋。默認為 FALSE，這意味著如果輸出路徑存在則拋出異常。

返回：

spark.logit 返回擬合的邏輯回歸模型。

summary 返回擬合模型的匯總信息，是一個列表。該列表包括coefficients(擬合模型的係數矩陣)。

predict 返回基於 LogisticRegressionModel 的預測值。

注意：

spark.logit 自 2.1.0 起

摘要(LogisticRegressionModel)自 2.1.0 起

從 2.1.0 開始預測(LogisticRegressionModel)

write.ml(LogisticRegression, character) 自 2.1.0 起

例子：

sparkR.session()
# binary logistic regression
t <- as.data.frame(Titanic)
training <- createDataFrame(t)
model <- spark.logit(training, Survived ~ ., regParam = 0.5)
summary <- summary(model)

# fitted values on training data
fitted <- predict(model, training)

# save fitted model to input path
path <- "path/to/model"
write.ml(model, path)

# can also read back the saved model and predict
# Note that summary deos not work on loaded model
savedModel <- read.ml(path)
summary(savedModel)

# binary logistic regression against two classes with
# upperBoundsOnCoefficients and upperBoundsOnIntercepts
ubc <- matrix(c(1.0, 0.0, 1.0, 0.0), nrow = 1, ncol = 4)
model <- spark.logit(training, Species ~ .,
                      upperBoundsOnCoefficients = ubc,
                      upperBoundsOnIntercepts = 1.0)

# multinomial logistic regression
model <- spark.logit(training, Class ~ ., regParam = 0.5)
summary <- summary(model)

# multinomial logistic regression with
# lowerBoundsOnCoefficients and lowerBoundsOnIntercepts
lbc <- matrix(c(0.0, -1.0, 0.0, -1.0, 0.0, -1.0, 0.0, -1.0), nrow = 2, ncol = 4)
lbi <- as.array(c(0.0, 0.0))
model <- spark.logit(training, Species ~ ., family = "multinomial",
                     lowerBoundsOnCoefficients = lbc,
                     lowerBoundsOnIntercepts = lbi)