Python pyspark DataStreamReader.json用法及代码示例

本文简要介绍 pyspark.sql.streaming.DataStreamReader.json 的用法。

用法: DataStreamReader.json(path, schema=None, primitivesAsString=None, prefersDecimal=None, allowComments=None, allowUnquotedFieldNames=None, allowSingleQuotes=None, allowNumericLeadingZero=None, allowBackslashEscapingAnyCharacter=None, mode=None, columnNameOfCorruptRecord=None, dateFormat=None, timestampFormat=None, multiLine=None, allowUnquotedControlChars=None, lineSep=None, locale=None, dropFieldIfAllNull=None, encoding=None, pathGlobFilter=None, recursiveFileLookup=None, allowNonNumericNumbers=None)

加载 JSON 文件流并将结果作为 DataFrame 返回。

默认支持JSON Lines(换行符分隔的 JSON)。对于 JSON(每个文件一条记录)，将 multiLine 参数设置为 true 。

如果未指定schema 参数，则此函数通过输入一次以确定输入模式。

2.0.0 版中的新函数。

参数：

path：str: string 表示 JSON 数据集的路径，或存储 JSON 对象的字符串的 RDD。
schema： pyspark.sql.types.StructType 或 str，可选: 输入模式的可选 pyspark.sql.types.StructType 或 DDL 格式的字符串(例如 col0 INT, col1 DOUBLE )。

其他参数：

Extra options：: 有关额外选项，请参阅您使用的版本中的Data Source Option。

注意：

这个 API 正在发展。

例子：

>>> json_sdf = spark.readStream.json(tempfile.mkdtemp(), schema = sdf_schema)
>>> json_sdf.isStreaming
True
>>> json_sdf.schema == sdf_schema
True

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.streaming.DataStreamReader.json。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。