本文简要介绍
pyspark.RDD.take 的用法。用法:
RDD.take(num)取 RDD 的前 num 个元素。
它首先扫描一个分区，然后使用该分区的结果来估计满足限制所需的附加分区数。
翻译自 RDD#take() 中的 Scala 实现。
注意：
仅当预期结果数组很小时才应使用此方法，因为所有数据都加载到驱动程序的内存中。
例子：
>>> sc.parallelize([2, 3, 4, 5, 6]).cache().take(2) [2, 3] >>> sc.parallelize([2, 3, 4, 5, 6]).take(10) [2, 3, 4, 5, 6] >>> sc.parallelize(range(100), 100).filter(lambda x: x > 90).take(3) [91, 92, 93]
相关用法
- Python pyspark RDD.takeOrdered用法及代码示例
- Python pyspark RDD.takeSample用法及代码示例
- Python pyspark RDD.treeAggregate用法及代码示例
- Python pyspark RDD.toLocalIterator用法及代码示例
- Python pyspark RDD.treeReduce用法及代码示例
- Python pyspark RDD.top用法及代码示例
- Python pyspark RDD.saveAsTextFile用法及代码示例
- Python pyspark RDD.keyBy用法及代码示例
- Python pyspark RDD.sumApprox用法及代码示例
- Python pyspark RDD.lookup用法及代码示例
- Python pyspark RDD.zipWithIndex用法及代码示例
- Python pyspark RDD.sampleByKey用法及代码示例
- Python pyspark RDD.coalesce用法及代码示例
- Python pyspark RDD.subtract用法及代码示例
- Python pyspark RDD.count用法及代码示例
- Python pyspark RDD.groupWith用法及代码示例
- Python pyspark RDD.distinct用法及代码示例
- Python pyspark RDD.mapPartitionsWithIndex用法及代码示例
- Python pyspark RDD.foreachPartition用法及代码示例
- Python pyspark RDD.zipWithUniqueId用法及代码示例
- Python pyspark RDD.sortByKey用法及代码示例
- Python pyspark RDD.collectAsMap用法及代码示例
- Python pyspark RDD.countApproxDistinct用法及代码示例
- Python pyspark RDD.reduceByKeyLocally用法及代码示例
- Python pyspark RDD.max用法及代码示例
注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.RDD.take。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。