当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python pyspark explode用法及代码示例


本文简要介绍 pyspark.sql.functions.explode 的用法。

用法:

pyspark.sql.functions.explode(col)

为给定数组或映射中的每个元素返回一个新行。除非另有说明，否则对数组中的元素使用默认列名 col，对映射中的元素使用默认列名 key 和 value。

1.4.0 版中的新函数。

例子：

>>> from pyspark.sql import Row
>>> eDF = spark.createDataFrame([Row(a=1, intlist=[1,2,3], mapfield={"a": "b"})])
>>> eDF.select(explode(eDF.intlist).alias("anInt")).collect()
[Row(anInt=1), Row(anInt=2), Row(anInt=3)]
>>> eDF.select(explode(eDF.mapfield).alias("key", "value")).show()
+---+-----+
|key|value|
+---+-----+
|  a|    b|
+---+-----+

相关用法


注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.functions.explode。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。