Python pyspark SparkContext.runJob用法及代碼示例

本文簡要介紹 pyspark.SparkContext.runJob 的用法。

用法: SparkContext.runJob(rdd, partitionFunc, partitions=None, allowLocal=False)

在指定的分區集上執行給定的 partitionFunc，將結果作為元素數組返回。

如果未指定‘partitions’，這將在所有分區上運行。

>>> myRDD = sc.parallelize(range(6), 3)
>>> sc.runJob(myRDD, lambda part: [x * x for x in part])
[0, 1, 4, 9, 16, 25]

>>> myRDD = sc.parallelize(range(6), 3)
>>> sc.runJob(myRDD, lambda part: [x * x for x in part], [0, 2], True)
[0, 1, 16, 25]

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.SparkContext.runJob。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。