Python pyspark RandomRDDs.uniformRDD用法及代码示例

生成一个由 i.i.d 组成的 RDD。来自均匀分布 U(0.0, 1.0) 的样本。

要将生成的 RDD 中的分布从 U(0.0, 1.0) 转换为 U(a, b)，请使用RandomRDDs.uniformRDD(sc, n, p, seed).map(lambda v: a + (b - a) * v)

参数：

sc：SparkContext

用于创建 RDD。

size：int

RDD 的大小。

numPartitions：整数，可选

RDD 中的分区数(默认值：sc.defaultParallelism)。

seed：整数，可选

随机种子(默认值：随机长整数)。

返回：

pyspark.RDD

由 i.i.d. 组成的浮点数 RDD样本 ~ U(0.0, 1.0) 。

例子：

>>> x = RandomRDDs.uniformRDD(sc, 100).collect()
>>> len(x)
100
>>> max(x) <= 1.0 and min(x) >= 0.0
True
>>> RandomRDDs.uniformRDD(sc, 100, 4).getNumPartitions()
4
>>> parts = RandomRDDs.uniformRDD(sc, 100, seed=4).getNumPartitions()
>>> parts == sc.defaultParallelism
True