Python pyspark RDD.countApproxDistinct用法及代碼示例

本文簡要介紹 pyspark.RDD.countApproxDistinct 的用法。

用法: RDD.countApproxDistinct(relativeSD=0.05)

返回 RDD 中不同元素的近似數量。

參數：

relativeSD：浮點數，可選: 相對準確度。較小的值會創建需要更多空間的計數器。它必須大於 0.000017。

注意：

使用的算法基於streamlib的實現“實踐中的 HyperLogLog：最先進的基數估計算法的算法工程”，可在此處獲得.

例子：

>>> n = sc.parallelize(range(1000)).map(str).countApproxDistinct()
>>> 900 < n < 1100
True
>>> n = sc.parallelize([i % 20 for i in range(1000)]).countApproxDistinct()
>>> 16 < n < 24
True

相關用法

Python pyspark RDD.countApprox用法及代碼示例
Python pyspark RDD.count用法及代碼示例
Python pyspark RDD.countByValue用法及代碼示例
Python pyspark RDD.countByKey用法及代碼示例
Python pyspark RDD.coalesce用法及代碼示例
Python pyspark RDD.collectAsMap用法及代碼示例
Python pyspark RDD.combineByKey用法及代碼示例
Python pyspark RDD.cogroup用法及代碼示例
Python pyspark RDD.cartesian用法及代碼示例
Python pyspark RDD.saveAsTextFile用法及代碼示例
Python pyspark RDD.keyBy用法及代碼示例
Python pyspark RDD.sumApprox用法及代碼示例
Python pyspark RDD.lookup用法及代碼示例
Python pyspark RDD.zipWithIndex用法及代碼示例
Python pyspark RDD.sampleByKey用法及代碼示例
Python pyspark RDD.subtract用法及代碼示例
Python pyspark RDD.groupWith用法及代碼示例
Python pyspark RDD.distinct用法及代碼示例
Python pyspark RDD.treeAggregate用法及代碼示例
Python pyspark RDD.mapPartitionsWithIndex用法及代碼示例
Python pyspark RDD.foreachPartition用法及代碼示例
Python pyspark RDD.zipWithUniqueId用法及代碼示例
Python pyspark RDD.sortByKey用法及代碼示例
Python pyspark RDD.takeOrdered用法及代碼示例
Python pyspark RDD.toLocalIterator用法及代碼示例

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.RDD.countApproxDistinct。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。