當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

Python pyspark SparkContext.parallelize用法及代碼示例


本文簡要介紹 pyspark.SparkContext.parallelize 的用法。

用法:

SparkContext.parallelize(c, numSlices=None)

分發本地 Python 集合以形成 RDD。如果輸入表示性能範圍，則建議使用範圍。

例子：

>>> sc.parallelize([0, 2, 3, 4, 6], 5).glom().collect()
[[0], [2], [3], [4], [6]]
>>> sc.parallelize(range(0, 6, 2), 5).glom().collect()
[[], [0], [], [2], [4]]

相關用法


注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.SparkContext.parallelize。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。