R SparkR gapplyCollect用法及代码示例

说明：

使用指定的列对 SparkDataFrame 进行分组，将 R 函数应用于每个组，并将结果作为 data.frame 收集回 R。

用法：

gapplyCollect(x, ...)

## S4 method for signature 'GroupedData'
gapplyCollect(x, func)

## S4 method for signature 'SparkDataFrame'
gapplyCollect(x, cols, func)

参数：

• x SparkDataFrame 或 GroupedData。
• ... 传递给方法的附加参数。
• func 要应用于由 SparkDataFrame 的分组列指定的每个组分区的函数。查看详细信息。
• cols 分组列。

细节：

func 是两个参数的函数。第一个，通常命名为key(尽管这不是强制的)对应于分组键，将是一个未命名的length(cols) length-one 对象的list，对应于当前组的分组列的值。

第二个，这里是 x ，将是一个本地的 data.frame ，对于与 key 对应的行，输入的列不在 cols 中。

func 的输出必须是与 schema 匹配的 data.frame - 特别是这意味着输出 data.frame 的名称无关紧要

返回：

一个 DataFrame 。

注意：

自 2.0.0 以来的 gapplyCollect(GroupedData)

从 2.0.0 开始的 gapplyCollect(SparkDataFrame)

例子：

# Computes the arithmetic mean of the second column by grouping
# on the first and third columns. Output the grouping values and the average.

df <- createDataFrame (
list(list(1L, 1, "1", 0.1), list(1L, 2, "1", 0.2), list(3L, 3, "3", 0.3)),
  c("a", "b", "c", "d"))

result <- gapplyCollect(
  df,
  c("a", "c"),
  function(key, x) {
    y <- data.frame(key, mean(x$b), stringsAsFactors = FALSE)
    colnames(y) <- c("key_a", "key_c", "mean_b")
    y
  })

# We can also group the data and afterwards call gapply on GroupedData.
# For example:
gdf <- group_by(df, "a", "c")
result <- gapplyCollect(
  gdf,
  function(key, x) {
    y <- data.frame(key, mean(x$b), stringsAsFactors = FALSE)
    colnames(y) <- c("key_a", "key_c", "mean_b")
    y
  })

# Result
# ------
# key_a key_c mean_b
# 3 3 3.0
# 1 1 1.5

# Fits linear models on iris dataset by grouping on the 'Species' column and
# using 'Sepal_Length' as a target variable, 'Sepal_Width', 'Petal_Length'
# and 'Petal_Width' as training features.

df <- createDataFrame (iris)
result <- gapplyCollect(
  df,
  df$"Species",
  function(key, x) {
    m <- suppressWarnings(lm(Sepal_Length ~
    Sepal_Width + Petal_Length + Petal_Width, x))
    data.frame(t(coef(m)))
  })

# Result
# ---------
# Model  X.Intercept.  Sepal_Width  Petal_Length  Petal_Width
# 1        0.699883    0.3303370    0.9455356    -0.1697527
# 2        1.895540    0.3868576    0.9083370    -0.6792238
# 3        2.351890    0.6548350    0.2375602     0.2521257