Python pyspark RandomRDDs.normalRDD用法及代码示例

生成一个由 i.i.d 组成的 RDD。来自标准正态分布的样本。

要将生成的 RDD 中的分布从标准正态转换为其他正态 N(mean, sigma^2)，请使用RandomRDDs.normal(sc, n, p, seed).map(lambda v: mean + sigma * v)

参数：

sc：SparkContext

用于创建 RDD。

size：int

RDD 的大小。

numPartitions：整数，可选

RDD 中的分区数(默认值：sc.defaultParallelism)。

seed：整数，可选

随机种子(默认值：随机长整数)。

返回：

pyspark.RDD

由 i.i.d. 组成的浮点数 RDD样本 ~ N(0.0, 1.0)。

例子：

>>> x = RandomRDDs.normalRDD(sc, 1000, seed=1)
>>> stats = x.stats()
>>> stats.count()
1000
>>> abs(stats.mean() - 0.0) < 0.1
True
>>> abs(stats.stdev() - 1.0) < 0.1
True