当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python pyspark RDD.sampleByKey用法及代码示例


本文简要介绍 pyspark.RDD.sampleByKey 的用法。

用法:

RDD.sampleByKey(withReplacement, fractions, seed=None)

返回按键采样的 RDD 的子集(通过分层采样)。使用分数指定的不同键的可变采样率创建此 RDD 的样本,这是采样率映射的键。

例子

>>> fractions = {"a": 0.2, "b": 0.1}
>>> rdd = sc.parallelize(fractions.keys()).cartesian(sc.parallelize(range(0, 1000)))
>>> sample = dict(rdd.sampleByKey(False, fractions, 2).groupByKey().collect())
>>> 100 < len(sample["a"]) < 300 and 50 < len(sample["b"]) < 150
True
>>> max(sample["a"]) <= 999 and min(sample["a"]) >= 0
True
>>> max(sample["b"]) <= 999 and min(sample["b"]) >= 0
True

相关用法


注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.RDD.sampleByKey。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。