Python pyspark DataFrame.withWatermark用法及代码示例

为此 DataFrame 定义事件时间水印。水印跟踪一个时间点，在此之前我们假设不再有迟到的数据到达。

Spark 将出于多种目的使用此水印：：

• 知道何时可以完成给定的时间窗口聚合，从而可以在使用不允许更新的输出模式时发出。

• 为了最小化我们需要为on-going 聚合保留的状态量。

当前水印是通过查看查询中所有分区中看到的 MAX(eventTime) 减去用户指定的 delayThreshold 来计算的。由于跨分区协调此值的成本，实际使用的水印只能保证至少比实际事件时间晚delayThreshold。在某些情况下，我们可能仍会处理晚于 delayThreshold 的记录。

参数：

eventTime：str

包含行的事件时间的列的名称。

delayThreshold：str

等待数据迟到的最小延迟，相对于以间隔形式处理的最新记录(例如“1分钟”或“5小时”)。

注意：

这个 API 正在发展。

>>> from pyspark.sql.functions import timestamp_seconds
>>> sdf.select(
...    'name',
...    timestamp_seconds(sdf.time).alias('time')).withWatermark('time', '10 minutes')
DataFrame[name: string, time: timestamp]