Python pyspark RDD.reduceByKey用法及代碼示例

本文簡要介紹 pyspark.RDD.reduceByKey 的用法。

用法: RDD.reduceByKey(func, numPartitions=None, partitionFunc=<function portable_hash>)

使用關聯和交換歸約函數合並每個鍵的值。

這也將在將結果發送到 reducer 之前在每個 mapper 上本地執行合並，類似於 MapReduce 中的 “combiner”。

輸出將使用 numPartitions 分區進行分區，如果未指定 numPartitions，則使用默認並行級別。默認分區程序是hash-partition。

>>> from operator import add
>>> rdd = sc.parallelize([("a", 1), ("b", 1), ("a", 1)])
>>> sorted(rdd.reduceByKey(add).collect())
[('a', 2), ('b', 1)]

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.RDD.reduceByKey。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。