Python pyspark explode_outer用法及代码示例

本文简要介绍 pyspark.sql.functions.explode_outer 的用法。

用法: pyspark.sql.functions.explode_outer(col)

为给定数组或映射中的每个元素返回一个新行。与explode 不同，如果数组/映射为null 或为空，则生成null。除非另有说明，否则对数组中的元素使用默认列名 col，对映射中的元素使用默认列名 key 和 value。

2.3.0 版中的新函数。

例子：

>>> df = spark.createDataFrame(
...     [(1, ["foo", "bar"], {"x": 1.0}), (2, [], {}), (3, None, None)],
...     ("id", "an_array", "a_map")
... )
>>> df.select("id", "an_array", explode_outer("a_map")).show()
+---+----------+----+-----+
| id|  an_array| key|value|
+---+----------+----+-----+
|  1|[foo, bar]|   x|  1.0|
|  2|        []|null| null|
|  3|      null|null| null|
+---+----------+----+-----+

>>> df.select("id", "a_map", explode_outer("an_array")).show()
+---+----------+----+
| id|     a_map| col|
+---+----------+----+
|  1|{x -> 1.0}| foo|
|  1|{x -> 1.0}| bar|
|  2|        {}|null|
|  3|      null|null|
+---+----------+----+

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.functions.explode_outer。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。