Python pyspark DataStreamWriter.trigger用法及代码示例

本文简要介绍 pyspark.sql.streaming.DataStreamWriter.trigger 的用法。

用法: DataStreamWriter.trigger(*, processingTime=None, once=None, continuous=None)

设置流查询的触发器。如果未设置，它将尽可能快地运行查询，这相当于将触发器设置为 processingTime='0 seconds' 。

2.0.0 版中的新函数。

参数：

processingTime：str，可选: 作为字符串的处理时间间隔，例如“5 秒”、“1 分钟”。设置一个触发器，根据处理时间定期运行微批量查询。只能设置一个触发器。
once：布尔型，可选: 如果设置为 True，则设置一个触发器，只处理流式查询中的一批数据，然后终止查询。只能设置一个触发器。
continuous：str，可选: 时间间隔作为字符串，例如“5 秒”、“1 分钟”。设置一个触发器，以给定的检查点间隔运行连续查询。只能设置一个触发器。

注意：

这个 API 正在发展。

例子：

>>> # trigger the query for execution every 5 seconds
>>> writer = sdf.writeStream.trigger(processingTime='5 seconds')
>>> # trigger the query for just once batch of data
>>> writer = sdf.writeStream.trigger(once=True)
>>> # trigger the query for execution every 5 seconds
>>> writer = sdf.writeStream.trigger(continuous='5 seconds')

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.streaming.DataStreamWriter.trigger。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。