Python PySpark DataFrame toJSON方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["André", 20], ["Bob", 30], ["Cathy", 30]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
|André| 20|
|  Bob| 30|
|Cathy| 30|
+-----+---+

将 PySpark DataFrame 的第一行转换为字典

要将 PySpark DataFrame 的第一行转换为 string-encoded JSON：

df.toJSON().first()



'{"name":"André","age":20}'

要将 string-encoded JSON 转换为本机 dict ：

import json
json.loads(df.toJSON().first())



{'name': 'André', 'age': 20}

将 PySpark DataFrame 转换为行对象列表(字典)

要将 PySpark DataFrame 转换为 string-encoded JSON 列表：

df.toJSON().collect()



['{"name":"André","age":20}',
 '{"name":"Bob","age":30}',
 '{"name":"Cathy","age":30}']

要将 PySpark DataFrame 转换为本机 dict 列表：

df.toJSON().map(lambda str_json: json.loads(str_json)).collect()



[{'name': 'André', 'age': 20},
 {'name': 'Bob', 'age': 30},
 {'name': 'Cathy', 'age': 30}]

这里：

• 我们使用 RDD.map(~) 方法在 RDD 的每个元素上应用自定义函数。

• 我们的自定义函数将每个 string-encoded JSON 转换为 dict 。

将 PySpark DataFrame 行转换为字符串 JSON 时禁用 unicode

默认情况下，启用 unicode：

df.toJSON().first()   # use_unicode=True



'{"name":"André","age":20}'

要禁用 unicode，请设置 use_unicode=False ：

df.toJSON(use_unicode=False).first()



b'{"name":"Andr\xc3\xa9","age":20}'