Python pyspark RandomRDDs.uniformRDD用法及代碼示例

生成一個由 i.i.d 組成的 RDD。來自均勻分布 U(0.0, 1.0) 的樣本。

要將生成的 RDD 中的分布從 U(0.0, 1.0) 轉換為 U(a, b)，請使用RandomRDDs.uniformRDD(sc, n, p, seed).map(lambda v: a + (b - a) * v)

參數：

sc：SparkContext

用於創建 RDD。

size：int

RDD 的大小。

numPartitions：整數，可選

RDD 中的分區數(默認值：sc.defaultParallelism)。

seed：整數，可選

隨機種子(默認值：隨機長整數)。

返回：

pyspark.RDD

由 i.i.d. 組成的浮點數 RDD樣本 ~ U(0.0, 1.0) 。

例子：

>>> x = RandomRDDs.uniformRDD(sc, 100).collect()
>>> len(x)
100
>>> max(x) <= 1.0 and min(x) >= 0.0
True
>>> RandomRDDs.uniformRDD(sc, 100, 4).getNumPartitions()
4
>>> parts = RandomRDDs.uniformRDD(sc, 100, seed=4).getNumPartitions()
>>> parts == sc.defaultParallelism
True