Python PySpark RDD zipWithIndex方法用法及代码示例

例子

考虑以下具有 2 个分区的 PySpark RDD：

rdd = sc.parallelize(['A','B','C'], 2)
rdd.collect()



['A', 'B', 'C']

我们可以使用 glom() 方法查看每个分区的内容：

rdd.glom().collect()



[['A'], ['B', 'C']]

我们看到我们确实有 2 个分区，第一个分区包含值 'A' ，第二个分区包含值 'B' 和 'C' 。

我们可以使用 zipWithIndex(~) 创建一个包含位置索引信息的新元组 RDD：

new_rdd = rdd.zipWithIndex()
new_rdd.collect()



[('A', 0), ('B', 1), ('C', 2)]

我们看到索引位置是根据分区位置分配的 - 第一个分区的第一个元素将被分配第 0 个索引。