Python pyspark DataStreamWriter.trigger用法及代碼示例

本文簡要介紹 pyspark.sql.streaming.DataStreamWriter.trigger 的用法。

用法: DataStreamWriter.trigger(*, processingTime=None, once=None, continuous=None)

設置流查詢的觸發器。如果未設置，它將盡可能快地運行查詢，這相當於將觸發器設置為 processingTime='0 seconds' 。

2.0.0 版中的新函數。

參數：

processingTime：str，可選: 作為字符串的處理時間間隔，例如“5 秒”、“1 分鍾”。設置一個觸發器，根據處理時間定期運行微批量查詢。隻能設置一個觸發器。
once：布爾型，可選: 如果設置為 True，則設置一個觸發器，隻處理流式查詢中的一批數據，然後終止查詢。隻能設置一個觸發器。
continuous：str，可選: 時間間隔作為字符串，例如“5 秒”、“1 分鍾”。設置一個觸發器，以給定的檢查點間隔運行連續查詢。隻能設置一個觸發器。

注意：

這個 API 正在發展。

例子：

>>> # trigger the query for execution every 5 seconds
>>> writer = sdf.writeStream.trigger(processingTime='5 seconds')
>>> # trigger the query for just once batch of data
>>> writer = sdf.writeStream.trigger(once=True)
>>> # trigger the query for execution every 5 seconds
>>> writer = sdf.writeStream.trigger(continuous='5 seconds')

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.streaming.DataStreamWriter.trigger。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。