当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python pyspark DataFrameReader.json用法及代码示例


本文简要介绍 pyspark.sql.DataFrameReader.json 的用法。

用法:

DataFrameReader.json(path, schema=None, primitivesAsString=None, prefersDecimal=None, allowComments=None, allowUnquotedFieldNames=None, allowSingleQuotes=None, allowNumericLeadingZero=None, allowBackslashEscapingAnyCharacter=None, mode=None, columnNameOfCorruptRecord=None, dateFormat=None, timestampFormat=None, multiLine=None, allowUnquotedControlChars=None, lineSep=None, samplingRatio=None, dropFieldIfAllNull=None, encoding=None, locale=None, pathGlobFilter=None, recursiveFileLookup=None, allowNonNumericNumbers=None, modifiedBefore=None, modifiedAfter=None)

加载 JSON 文件并将结果作为 DataFrame 返回。

默认支持JSON Lines (newline-delimited JSON)。对于 JSON(每个文件一条记录),将 multiLine 参数设置为 true

如果未指定schema 参数,则此函数通过输入一次以确定输入模式。

1.4.0 版中的新函数。

参数

path字符串、列表或RDD

string 表示 JSON 数据集的路径,或路径列表,或存储 JSON 对象的字符串的 RDD。

schema pyspark.sql.types.StructType 或 str,可选

输入模式的可选 pyspark.sql.types.StructType 或 DDL 格式的字符串(例如 col0 INT, col1 DOUBLE )。

其他参数

Extra options

有关额外选项,请参阅您使用的版本中的Data Source Option

例子

>>> df1 = spark.read.json('python/test_support/sql/people.json')
>>> df1.dtypes
[('age', 'bigint'), ('name', 'string')]
>>> rdd = sc.textFile('python/test_support/sql/people.json')
>>> df2 = spark.read.json(rdd)
>>> df2.dtypes
[('age', 'bigint'), ('name', 'string')]

相关用法


注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.DataFrameReader.json。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。