Python PySpark SQL Functions explode方法用法及代码示例

例子

展平列表

考虑以下PySpark DataFrame：

df = spark.createDataFrame([[['a','b']],[['d']]], ['vals'])
df.show()



+------+
|  vals|
+------+
|[a, b]|
|   [d]|
+------+

这里，vals 列包含列表。

要展平 vals 列中的列表，请使用 explode(~) 方法：

import pyspark.sql.functions as F
df.select(F.explode('vals').alias('exploded')).show()



+--------+
|exploded|
+--------+
|       a|
|       b|
|       d|
+--------+

在这里，我们使用 alias(~) 方法为 explode(~) 返回的列分配标签。

扁平化字典

考虑以下PySpark DataFrame：

df = spark.createDataFrame([[{'a':'b'}],[{'c':'d','e':'f'}]], ['vals'])
df.show()



+----------------+
|            vals|
+----------------+
|        {a -> b}|
|{e -> f, c -> d}|
+----------------+

这里，vals 列包含字典。

要展平 vals 列中的每个字典，请使用 explode(~) 方法：

df.select(F.explode('vals').alias('exploded_key', 'exploded_val')).show()



+------------+------------+
|exploded_key|exploded_val|
+------------+------------+
|           a|           b|
|           e|           f|
|           c|           d|
+------------+------------+

对于字典，explode(~) 方法返回两列 - 第一列包含所有键，第二列包含所有值。