本文简要介绍
pyspark.RDD.foreachPartition
的用法。用法:
RDD.foreachPartition(f)
对这个 RDD 的每个分区应用一个函数。
例子:
>>> def f(iterator): ... for x in iterator: ... print(x) >>> sc.parallelize([1, 2, 3, 4, 5]).foreachPartition(f)
相关用法
- Python pyspark RDD.foreach用法及代码示例
- Python pyspark RDD.fold用法及代码示例
- Python pyspark RDD.foldByKey用法及代码示例
- Python pyspark RDD.flatMap用法及代码示例
- Python pyspark RDD.flatMapValues用法及代码示例
- Python pyspark RDD.fullOuterJoin用法及代码示例
- Python pyspark RDD.filter用法及代码示例
- Python pyspark RDD.first用法及代码示例
- Python pyspark RDD.saveAsTextFile用法及代码示例
- Python pyspark RDD.keyBy用法及代码示例
- Python pyspark RDD.sumApprox用法及代码示例
- Python pyspark RDD.lookup用法及代码示例
- Python pyspark RDD.zipWithIndex用法及代码示例
- Python pyspark RDD.sampleByKey用法及代码示例
- Python pyspark RDD.coalesce用法及代码示例
- Python pyspark RDD.subtract用法及代码示例
- Python pyspark RDD.count用法及代码示例
- Python pyspark RDD.groupWith用法及代码示例
- Python pyspark RDD.distinct用法及代码示例
- Python pyspark RDD.treeAggregate用法及代码示例
- Python pyspark RDD.mapPartitionsWithIndex用法及代码示例
- Python pyspark RDD.zipWithUniqueId用法及代码示例
- Python pyspark RDD.sortByKey用法及代码示例
- Python pyspark RDD.takeOrdered用法及代码示例
- Python pyspark RDD.collectAsMap用法及代码示例
注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.RDD.foreachPartition。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。