本文简要介绍
pyspark.RDD.groupWith
的用法。用法:
RDD.groupWith(other, *others)
cogroup 的别名,但支持多个 RDD。
例子:
>>> w = sc.parallelize([("a", 5), ("b", 6)]) >>> x = sc.parallelize([("a", 1), ("b", 4)]) >>> y = sc.parallelize([("a", 2)]) >>> z = sc.parallelize([("b", 42)]) >>> [(x, tuple(map(list, y))) for x, y in sorted(list(w.groupWith(x, y, z).collect()))] [('a', ([5], [1], [2], [])), ('b', ([6], [4], [], [42]))]
相关用法
- Python pyspark RDD.groupByKey用法及代码示例
- Python pyspark RDD.groupBy用法及代码示例
- Python pyspark RDD.getStorageLevel用法及代码示例
- Python pyspark RDD.glom用法及代码示例
- Python pyspark RDD.getNumPartitions用法及代码示例
- Python pyspark RDD.saveAsTextFile用法及代码示例
- Python pyspark RDD.keyBy用法及代码示例
- Python pyspark RDD.sumApprox用法及代码示例
- Python pyspark RDD.lookup用法及代码示例
- Python pyspark RDD.zipWithIndex用法及代码示例
- Python pyspark RDD.sampleByKey用法及代码示例
- Python pyspark RDD.coalesce用法及代码示例
- Python pyspark RDD.subtract用法及代码示例
- Python pyspark RDD.count用法及代码示例
- Python pyspark RDD.distinct用法及代码示例
- Python pyspark RDD.treeAggregate用法及代码示例
- Python pyspark RDD.mapPartitionsWithIndex用法及代码示例
- Python pyspark RDD.foreachPartition用法及代码示例
- Python pyspark RDD.zipWithUniqueId用法及代码示例
- Python pyspark RDD.sortByKey用法及代码示例
- Python pyspark RDD.takeOrdered用法及代码示例
- Python pyspark RDD.collectAsMap用法及代码示例
- Python pyspark RDD.countApproxDistinct用法及代码示例
- Python pyspark RDD.toLocalIterator用法及代码示例
- Python pyspark RDD.reduceByKeyLocally用法及代码示例
注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.RDD.groupWith。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。