Python pyspark DataStreamReader.load用法及代码示例

本文简要介绍 pyspark.sql.streaming.DataStreamReader.load 的用法。

用法:
DataStreamReader.load(path=None, format=None, schema=None, **options)

从数据源加载数据流并将其作为 DataFrame 返回。

2.0.0 版中的新函数。

参数：

path：str，可选: 文件系统支持的数据源的可选字符串。
format：str，可选: 数据源格式的可选字符串。默认为‘parquet’。
schema： pyspark.sql.types.StructType 或 str，可选: 输入模式的可选 pyspark.sql.types.StructType 或 DDL 格式的字符串(例如 col0 INT, col1 DOUBLE )。
**options：dict: 所有其他字符串选项

注意：

这个 API 正在发展。

例子：

>>> json_sdf = spark.readStream.format("json") \
...     .schema(sdf_schema) \
...     .load(tempfile.mkdtemp())
>>> json_sdf.isStreaming
True
>>> json_sdf.schema == sdf_schema
True

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.streaming.DataStreamReader.load。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。