当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python pyspark RandomRDDs.uniformVectorRDD用法及代码示例


本文简要介绍 pyspark.mllib.random.RandomRDDs.uniformVectorRDD 的用法。

用法:

static uniformVectorRDD(sc, numRows, numCols, numPartitions=None, seed=None)

生成由包含 i.i.d 的向量组成的 RDD。从均匀分布 U(0.0, 1.0) 中抽取的样本。

1.1.0 版中的新函数。

参数

scSparkContext

SparkContext 用于创建 RDD。

numRowsint

RDD 中的向量数。

numColsint

每个向量中的元素数。

numPartitions整数,可选

RDD 中的分区数。

seed整数,可选

为每个分区中的生成器生成种子的 RNG 的种子。

返回

pyspark.RDD

向量的 RDD,向量包含 i.i.d 样本 ~ U(0.0, 1.0)

例子

>>> import numpy as np
>>> mat = np.matrix(RandomRDDs.uniformVectorRDD(sc, 10, 10).collect())
>>> mat.shape
(10, 10)
>>> mat.max() <= 1.0 and mat.min() >= 0.0
True
>>> RandomRDDs.uniformVectorRDD(sc, 10, 10, 4).getNumPartitions()
4

相关用法


注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.mllib.random.RandomRDDs.uniformVectorRDD。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。