Python pyspark RDD.zipWithUniqueId用法及代码示例

本文简要介绍 pyspark.RDD.zipWithUniqueId 的用法。

用法: RDD.zipWithUniqueId()

使用生成的唯一 Long id 压缩此 RDD。

第 k 个分区中的项目将获得 ids k, n+k, 2*n+k, ...，其中 n 是分区数。因此可能存在差距，但这种方法不会触发 spark 作业，这与 zipWithIndex() 不同。

>>> sc.parallelize(["a", "b", "c", "d", "e"], 3).zipWithUniqueId().collect()
[('a', 0), ('b', 1), ('c', 4), ('d', 2), ('e', 5)]

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.RDD.zipWithUniqueId。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。