當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

Python pyspark DataStreamReader.text用法及代碼示例


本文簡要介紹 pyspark.sql.streaming.DataStreamReader.text 的用法。

用法:

DataStreamReader.text(path, wholetext=False, lineSep=None, pathGlobFilter=None, recursiveFileLookup=None)

加載一個文本文件流並返回一個 DataFrame，其架構以名為 “value” 的字符串列開頭，如果有的話，後跟分區列。文本文件必須編碼為 UTF-8。

默認情況下，文本文件中的每一行都是生成的 DataFrame 中的新行。

2.0.0 版中的新函數。

參數：

paths：字符串或列表

輸入路徑的字符串或字符串列表。

其他參數：

Extra options：

有關額外選項，請參閱您使用的版本中的Data Source Option。

注意：

這個 API 正在發展。

例子：

>>> text_sdf = spark.readStream.text(tempfile.mkdtemp())
>>> text_sdf.isStreaming
True
>>> "value" in str(text_sdf.schema)
True

相關用法


注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.streaming.DataStreamReader.text。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。