Python PySpark RDD collectAsMap方法用法及代碼示例

例子

考慮以下PySpark對 RDD：

rdd = sc.parallelize([("a",5),("b",2),("c",3)]) 
rdd.collect()



[('a', 5), ('b', 2), ('c', 3)]

在這裏，我們使用 parallelize(~) 方法創建一對RDD。

將一對 RDD 轉換為 PySpark 中的字典

要將 Pair RDD 轉換為 PySpark 中的字典，請使用 collectAsMap() 方法：

rdd.collectAsMap()



{'a': 5, 'b': 2, 'c': 3}

如果出現重複鍵

當我們有重複的鍵時，後一個鍵值對將覆蓋前一個鍵值對：

rdd = sc.parallelize([("a",5),("a",6),("b",2)]) 
rdd.collectAsMap()



{'a': 6, 'b': 2}

這裏，元組 ("a",6) 已覆蓋 ("a",5) 。