Python pyspark RandomRDDs.gammaVectorRDD用法及代码示例

本文简要介绍 pyspark.mllib.random.RandomRDDs.gammaVectorRDD 的用法。

用法: static gammaVectorRDD(sc, shape, scale, numRows, numCols, numPartitions=None, seed=None)

生成由包含 i.i.d 的向量组成的 RDD。从 Gamma 分布中抽取的样本。

版本 1.3.0 中的新函数。

参数：

sc：SparkContext: SparkContext 用于创建 RDD。
shape：浮点数: Gamma 分布的形状 (> 0)
scale：浮点数: Gamma 分布的比例 (> 0)
numRows：int: RDD 中的向量数。
numCols：int: 每个向量中的元素数。
numPartitions：整数，可选: RDD 中的分区数(默认值：sc.defaultParallelism)。
seed：整数，可选，: 随机种子(默认值：随机长整数)。

pyspark.RDD: 带有包含 i.i.d 的向量的向量的 RDD。样本〜伽玛(形状，比例)。

例子：

>>> import numpy as np
>>> from math import sqrt
>>> shape = 1.0
>>> scale = 2.0
>>> expMean = shape * scale
>>> expStd = sqrt(shape * scale * scale)
>>> mat = np.matrix(RandomRDDs.gammaVectorRDD(sc, shape, scale, 100, 100, seed=1).collect())
>>> mat.shape
(100, 100)
>>> abs(mat.mean() - expMean) < 0.1
True
>>> abs(mat.std() - expStd) < 0.1
True

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.mllib.random.RandomRDDs.gammaVectorRDD。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。

用法:

参数：

返回：

例子：