Python PySpark RDD collectAsMap方法用法及代码示例

例子

考虑以下PySpark对 RDD：

rdd = sc.parallelize([("a",5),("b",2),("c",3)]) 
rdd.collect()



[('a', 5), ('b', 2), ('c', 3)]

在这里，我们使用 parallelize(~) 方法创建一对RDD。

将一对 RDD 转换为 PySpark 中的字典

要将 Pair RDD 转换为 PySpark 中的字典，请使用 collectAsMap() 方法：

rdd.collectAsMap()



{'a': 5, 'b': 2, 'c': 3}

如果出现重复键

当我们有重复的键时，后一个键值对将覆盖前一个键值对：

rdd = sc.parallelize([("a",5),("a",6),("b",2)]) 
rdd.collectAsMap()



{'a': 6, 'b': 2}

这里，元组 ("a",6) 已覆盖 ("a",5) 。