Python PySpark SparkContext parallelize方法用法及代码示例

例子

使用值列表创建 RDD

要创建 RDD，请使用 parallelize(~) 函数：

rdd = sc.parallelize(["A","B","C","A"])
rdd.collect()



['A', 'B', 'C', 'A']

我的 Spark 配置指定的默认分区数是：

rdd.getNumPartitions()



8

创建具有特定数量分区的 RDD

要使用具有 3 分区的列表创建 RDD：

rdd = sc.parallelize(["A","B","C","A"], numSlices=3)
rdd.collect()



['A', 'B', 'C', 'A']

在这里，Spark 将我们的列表分为 3 个sub-datasets。我们可以使用 glom() 方法查看每个分区的内容：

rdd.glom().collect()



[['A'], ['B'], ['C', 'A']]

我们确实可以看到有3个分区：

• 分区一：'A'

• 分区二：'B'

• 分区三：'C' 和 'A'

请注意，相同的值 'A' 不一定会出现在同一个分区中 - 分区是根据列表的顺序简单完成的。

创建一对 RDD

要创建 RDD 对，请传递元组列表，如下所示：

rdd = sc.parallelize([("A",1),("B",1),("C",1),("A",1)], numSlices=3)
rdd.collect()



[('A', 1), ('B', 1), ('C', 1), ('A', 1)]

请注意，parallelize 不会根据键执行分区，如下所示：

rdd.glom().collect()



[[('A', 1)], [('B', 1)], [('C', 1), ('A', 1)]]

我们可以看到，就像前面的情况一样，分区是使用列表的顺序完成的。

type(rdd)



pyspark.rdd.RDD

RDD 对的特殊之处在于，我们可以执行其他方法，例如 reduceByKey(~) ，它对键执行 groupby 并执行自定义缩减函数：

rdd = sc.parallelize([("A",1),("B",1),("C",1),("A",1)], numSlices=3)
new_rdd = rdd.reduceByKey(lambda a,b: a+b)
new_rdd.collect()



[('B', 1), ('C', 1), ('A', 2)]

这里，我们使用的归约函数是一个简单的求和。

从 Pandas 创建 RDD DataFrame

考虑以下 Pandas DataFrame：

import pandas as pd
df_pandas = pd.DataFrame({"A":[3,4],"B":[5,6]})
df_pandas



   A  B
0  3  5
1  4  6

要创建包含此 Pandas DataFrame 值的 RDD：

df_spark = spark.createDataFrame(df_pandas)
rdd = df_spark.rdd
rdd.collect()



[Row(A=3, B=5), Row(A=4, B=6)]

请注意如何仅保留 DataFrame 的值 - 列标签不包含在 RDD 中。

import pandas as pd
df_pandas = pd.DataFrame({"A":[3,4],"B":[5,6]})
rdd = sc.parallelize(df_pandas)
rdd.collect()



['A', 'B']