Python pyspark RandomRDDs.normalVectorRDD用法及代码示例

生成由包含 i.i.d 的向量组成的 RDD。从标准正态分布中抽取的样本。

参数：

sc：SparkContext

SparkContext 用于创建 RDD。

numRows：int

RDD 中的向量数。

numCols：int

每个向量中的元素数。

numPartitions：整数，可选

RDD 中的分区数(默认值：sc.defaultParallelism)。

seed：整数，可选

随机种子(默认值：随机长整数)。

返回：

pyspark.RDD

带有包含 i.i.d 的向量的向量的 RDD。样本 ~ N(0.0, 1.0) 。

例子：

>>> import numpy as np
>>> mat = np.matrix(RandomRDDs.normalVectorRDD(sc, 100, 100, seed=1).collect())
>>> mat.shape
(100, 100)
>>> abs(mat.mean() - 0.0) < 0.1
True
>>> abs(mat.std() - 1.0) < 0.1
True