Python pyspark RDD.zipWithIndex用法及代碼示例

本文簡要介紹 pyspark.RDD.zipWithIndex 的用法。

用法: RDD.zipWithIndex()

用它的元素索引壓縮這個 RDD。

排序首先基於分區索引，然後是每個分區內項目的排序。所以第一個分區中的第一項獲得索引 0，最後一個分區中的最後一項獲得最大索引。

此方法需要在此 RDD 包含多個分區時觸發 spark 作業。

>>> sc.parallelize(["a", "b", "c", "d"], 3).zipWithIndex().collect()
[('a', 0), ('b', 1), ('c', 2), ('d', 3)]

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.RDD.zipWithIndex。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。