當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文


Python pyspark explode用法及代碼示例


本文簡要介紹 pyspark.sql.functions.explode 的用法。

用法:

pyspark.sql.functions.explode(col)

為給定數組或映射中的每個元素返回一個新行。除非另有說明,否則對數組中的元素使用默認列名 col,對映射中的元素使用默認列名 keyvalue

1.4.0 版中的新函數。

例子

>>> from pyspark.sql import Row
>>> eDF = spark.createDataFrame([Row(a=1, intlist=[1,2,3], mapfield={"a": "b"})])
>>> eDF.select(explode(eDF.intlist).alias("anInt")).collect()
[Row(anInt=1), Row(anInt=2), Row(anInt=3)]
>>> eDF.select(explode(eDF.mapfield).alias("key", "value")).show()
+---+-----+
|key|value|
+---+-----+
|  a|    b|
+---+-----+

相關用法


注:本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.functions.explode。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。