Python pyspark explode_outer用法及代碼示例

本文簡要介紹 pyspark.sql.functions.explode_outer 的用法。

用法: pyspark.sql.functions.explode_outer(col)

為給定數組或映射中的每個元素返回一個新行。與explode 不同，如果數組/映射為null 或為空，則生成null。除非另有說明，否則對數組中的元素使用默認列名 col，對映射中的元素使用默認列名 key 和 value。

2.3.0 版中的新函數。

例子：

>>> df = spark.createDataFrame(
...     [(1, ["foo", "bar"], {"x": 1.0}), (2, [], {}), (3, None, None)],
...     ("id", "an_array", "a_map")
... )
>>> df.select("id", "an_array", explode_outer("a_map")).show()
+---+----------+----+-----+
| id|  an_array| key|value|
+---+----------+----+-----+
|  1|[foo, bar]|   x|  1.0|
|  2|        []|null| null|
|  3|      null|null| null|
+---+----------+----+-----+

>>> df.select("id", "a_map", explode_outer("an_array")).show()
+---+----------+----+
| id|     a_map| col|
+---+----------+----+
|  1|{x -> 1.0}| foo|
|  1|{x -> 1.0}| bar|
|  2|        {}|null|
|  3|      null|null|
+---+----------+----+

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.functions.explode_outer。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。