當前位置: 首頁>>編程示例 >>用法及示例精選 >>正文

Python pyspark posexplode用法及代碼示例

本文簡要介紹 pyspark.sql.functions.posexplode 的用法。

用法:

pyspark.sql.functions.posexplode(col)

為給定數組或映射中具有位置的每個元素返回一個新行。使用默認列名pos 表示位置，col 表示數組中的元素，key 和 value 表示映射中的元素，除非另有說明。

2.1.0 版中的新函數。

例子：

>>> from pyspark.sql import Row
>>> eDF = spark.createDataFrame([Row(a=1, intlist=[1,2,3], mapfield={"a": "b"})])
>>> eDF.select(posexplode(eDF.intlist)).collect()
[Row(pos=0, col=1), Row(pos=1, col=2), Row(pos=2, col=3)]
>>> eDF.select(posexplode(eDF.mapfield)).show()
+---+---+-----+
|pos|key|value|
+---+---+-----+
|  0|  a|    b|
+---+---+-----+

相關用法


注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.functions.posexplode。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。