Python pyspark DataStreamReader.load用法及代碼示例

本文簡要介紹 pyspark.sql.streaming.DataStreamReader.load 的用法。

用法:
DataStreamReader.load(path=None, format=None, schema=None, **options)

從數據源加載數據流並將其作為 DataFrame 返回。

2.0.0 版中的新函數。

參數：

path：str，可選: 文件係統支持的數據源的可選字符串。
format：str，可選: 數據源格式的可選字符串。默認為‘parquet’。
schema： pyspark.sql.types.StructType 或 str，可選: 輸入模式的可選 pyspark.sql.types.StructType 或 DDL 格式的字符串(例如 col0 INT, col1 DOUBLE )。
**options：dict: 所有其他字符串選項

注意：

這個 API 正在發展。

例子：

>>> json_sdf = spark.readStream.format("json") \
...     .schema(sdf_schema) \
...     .load(tempfile.mkdtemp())
>>> json_sdf.isStreaming
True
>>> json_sdf.schema == sdf_schema
True

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.streaming.DataStreamReader.load。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。