Python pyspark to_json用法及代码示例

本文简要介绍 pyspark.sql.functions.to_json 的用法。

用法: pyspark.sql.functions.to_json(col, options=None)

将包含 StructType 、 ArrayType 或 MapType 的列转换为 JSON 字符串。如果类型不受支持，则会引发异常。

2.1.0 版中的新函数。

参数：

col： Column 或 str: 包含结构、数组或映射的列的名称。
options：字典，可选: 控制转换的选项。接受与 JSON 数据源相同的选项。请参阅您使用的版本中的Data Source Option。此外，该函数支持 pretty 选项，该选项可以生成漂亮的 JSON。

例子：

>>> from pyspark.sql import Row
>>> from pyspark.sql.types import *
>>> data = [(1, Row(age=2, name='Alice'))]
>>> df = spark.createDataFrame(data, ("key", "value"))
>>> df.select(to_json(df.value).alias("json")).collect()
[Row(json='{"age":2,"name":"Alice"}')]
>>> data = [(1, [Row(age=2, name='Alice'), Row(age=3, name='Bob')])]
>>> df = spark.createDataFrame(data, ("key", "value"))
>>> df.select(to_json(df.value).alias("json")).collect()
[Row(json='[{"age":2,"name":"Alice"},{"age":3,"name":"Bob"}]')]
>>> data = [(1, {"name": "Alice"})]
>>> df = spark.createDataFrame(data, ("key", "value"))
>>> df.select(to_json(df.value).alias("json")).collect()
[Row(json='{"name":"Alice"}')]
>>> data = [(1, [{"name": "Alice"}, {"name": "Bob"}])]
>>> df = spark.createDataFrame(data, ("key", "value"))
>>> df.select(to_json(df.value).alias("json")).collect()
[Row(json='[{"name":"Alice"},{"name":"Bob"}]')]
>>> data = [(1, ["Alice", "Bob"])]
>>> df = spark.createDataFrame(data, ("key", "value"))
>>> df.select(to_json(df.value).alias("json")).collect()
[Row(json='["Alice","Bob"]')]

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.functions.to_json。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。