Python pyspark RandomRDDs.exponentialVectorRDD用法及代碼示例

生成由包含 i.i.d 的向量組成的 RDD。從具有輸入均值的 index 分布中抽取的樣本。

參數：

sc：SparkContext

SparkContext 用於創建 RDD。

mean：浮點數

index 分布的平均值或 1 /lambda。

numRows：int

RDD 中的向量數。

numCols：int

每個向量中的元素數。

numPartitions：整數，可選

RDD 中的分區數(默認值：sc.defaultParallelism)

seed：整數，可選

隨機種子(默認值：隨機長整數)。

返回：

pyspark.RDD

帶有包含 i.i.d 的向量的向量的 RDD。樣本〜Exp(平均值)。

例子：

>>> import numpy as np
>>> mean = 0.5
>>> rdd = RandomRDDs.exponentialVectorRDD(sc, mean, 100, 100, seed=1)
>>> mat = np.mat(rdd.collect())
>>> mat.shape
(100, 100)
>>> abs(mat.mean() - mean) < 0.5
True
>>> from math import sqrt
>>> abs(mat.std() - sqrt(mean)) < 0.5
True