当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python pyspark RandomRDDs.poissonVectorRDD用法及代码示例


本文简要介绍 pyspark.mllib.random.RandomRDDs.poissonVectorRDD 的用法。

用法:

static poissonVectorRDD(sc, mean, numRows, numCols, numPartitions=None, seed=None)

生成由包含 i.i.d 的向量组成的 RDD。从具有输入均值的泊松分布中抽取的样本。

1.1.0 版中的新函数。

参数

scSparkContext

SparkContext 用于创建 RDD。

mean浮点数

泊松分布的均值或 lambda。

numRows浮点数

RDD 中的向量数。

numColsint

每个向量中的元素数。

numPartitions整数,可选

RDD 中的分区数(默认值:sc.defaultParallelism)

seed整数,可选

随机种子(默认值:随机长整数)。

返回

pyspark.RDD

带有包含 i.i.d 的向量的向量的 RDD。样本〜泊(平均)。

例子

>>> import numpy as np
>>> mean = 100.0
>>> rdd = RandomRDDs.poissonVectorRDD(sc, mean, 100, 100, seed=1)
>>> mat = np.mat(rdd.collect())
>>> mat.shape
(100, 100)
>>> abs(mat.mean() - mean) < 0.5
True
>>> from math import sqrt
>>> abs(mat.std() - sqrt(mean)) < 0.5
True

相关用法


注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.mllib.random.RandomRDDs.poissonVectorRDD。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。