Python pyspark RDD.sampleByKey用法及代碼示例

本文簡要介紹 pyspark.RDD.sampleByKey 的用法。

用法: RDD.sampleByKey(withReplacement, fractions, seed=None)

返回按鍵采樣的 RDD 的子集(通過分層采樣)。使用分數指定的不同鍵的可變采樣率創建此 RDD 的樣本，這是采樣率映射的鍵。

例子：

>>> fractions = {"a": 0.2, "b": 0.1}
>>> rdd = sc.parallelize(fractions.keys()).cartesian(sc.parallelize(range(0, 1000)))
>>> sample = dict(rdd.sampleByKey(False, fractions, 2).groupByKey().collect())
>>> 100 < len(sample["a"]) < 300 and 50 < len(sample["b"]) < 150
True
>>> max(sample["a"]) <= 999 and min(sample["a"]) >= 0
True
>>> max(sample["b"]) <= 999 and min(sample["b"]) >= 0
True

相關用法

Python pyspark RDD.sampleVariance用法及代碼示例
Python pyspark RDD.sample用法及代碼示例
Python pyspark RDD.sampleStdev用法及代碼示例
Python pyspark RDD.saveAsTextFile用法及代碼示例
Python pyspark RDD.saveAsPickleFile用法及代碼示例
Python pyspark RDD.sumApprox用法及代碼示例
Python pyspark RDD.subtract用法及代碼示例
Python pyspark RDD.sortByKey用法及代碼示例
Python pyspark RDD.stdev用法及代碼示例
Python pyspark RDD.setName用法及代碼示例
Python pyspark RDD.subtractByKey用法及代碼示例
Python pyspark RDD.sortBy用法及代碼示例
Python pyspark RDD.sum用法及代碼示例
Python pyspark RDD.keyBy用法及代碼示例
Python pyspark RDD.lookup用法及代碼示例
Python pyspark RDD.zipWithIndex用法及代碼示例
Python pyspark RDD.coalesce用法及代碼示例
Python pyspark RDD.count用法及代碼示例
Python pyspark RDD.groupWith用法及代碼示例
Python pyspark RDD.distinct用法及代碼示例
Python pyspark RDD.treeAggregate用法及代碼示例
Python pyspark RDD.mapPartitionsWithIndex用法及代碼示例
Python pyspark RDD.foreachPartition用法及代碼示例
Python pyspark RDD.zipWithUniqueId用法及代碼示例
Python pyspark RDD.takeOrdered用法及代碼示例

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.RDD.sampleByKey。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。