当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python pyspark DataStreamReader.text用法及代码示例


本文简要介绍 pyspark.sql.streaming.DataStreamReader.text 的用法。

用法:

DataStreamReader.text(path, wholetext=False, lineSep=None, pathGlobFilter=None, recursiveFileLookup=None)

加载一个文本文件流并返回一个 DataFrame，其架构以名为 “value” 的字符串列开头，如果有的话，后跟分区列。文本文件必须编码为 UTF-8。

默认情况下，文本文件中的每一行都是生成的 DataFrame 中的新行。

2.0.0 版中的新函数。

参数：

paths：字符串或列表

输入路径的字符串或字符串列表。

其他参数：

Extra options：

有关额外选项，请参阅您使用的版本中的Data Source Option。

注意：

这个 API 正在发展。

例子：

>>> text_sdf = spark.readStream.text(tempfile.mkdtemp())
>>> text_sdf.isStreaming
True
>>> "value" in str(text_sdf.schema)
True

相关用法


注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.streaming.DataStreamReader.text。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。