Python pyspark RDD.countApproxDistinct用法及代码示例

本文简要介绍 pyspark.RDD.countApproxDistinct 的用法。

用法: RDD.countApproxDistinct(relativeSD=0.05)

返回 RDD 中不同元素的近似数量。

参数：

relativeSD：浮点数，可选: 相对准确度。较小的值会创建需要更多空间的计数器。它必须大于 0.000017。

注意：

使用的算法基于streamlib的实现“实践中的 HyperLogLog：最先进的基数估计算法的算法工程”，可在此处获得.

例子：

>>> n = sc.parallelize(range(1000)).map(str).countApproxDistinct()
>>> 900 < n < 1100
True
>>> n = sc.parallelize([i % 20 for i in range(1000)]).countApproxDistinct()
>>> 16 < n < 24
True

相关用法

Python pyspark RDD.countApprox用法及代码示例
Python pyspark RDD.count用法及代码示例
Python pyspark RDD.countByValue用法及代码示例
Python pyspark RDD.countByKey用法及代码示例
Python pyspark RDD.coalesce用法及代码示例
Python pyspark RDD.collectAsMap用法及代码示例
Python pyspark RDD.combineByKey用法及代码示例
Python pyspark RDD.cogroup用法及代码示例
Python pyspark RDD.cartesian用法及代码示例
Python pyspark RDD.saveAsTextFile用法及代码示例
Python pyspark RDD.keyBy用法及代码示例
Python pyspark RDD.sumApprox用法及代码示例
Python pyspark RDD.lookup用法及代码示例
Python pyspark RDD.zipWithIndex用法及代码示例
Python pyspark RDD.sampleByKey用法及代码示例
Python pyspark RDD.subtract用法及代码示例
Python pyspark RDD.groupWith用法及代码示例
Python pyspark RDD.distinct用法及代码示例
Python pyspark RDD.treeAggregate用法及代码示例
Python pyspark RDD.mapPartitionsWithIndex用法及代码示例
Python pyspark RDD.foreachPartition用法及代码示例
Python pyspark RDD.zipWithUniqueId用法及代码示例
Python pyspark RDD.sortByKey用法及代码示例
Python pyspark RDD.takeOrdered用法及代码示例
Python pyspark RDD.toLocalIterator用法及代码示例

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.RDD.countApproxDistinct。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。