Python pyflink StreamExecutionEnvironment.set_state_backend用法及代码示例

本文简要介绍 python 语言中pyflink.datastream.StreamExecutionEnvironment.set_state_backend的用法。

用法:

set_state_backend(state_backend: pyflink.datastream.state_backend.StateBackend) → pyflink.datastream.stream_execution_environment.StreamExecutionEnvironment

设置说明如何存储和检查点操作符状态的状态后端。它定义了哪些数据结构在执行期间保持状态(例如哈希表、RockDB 或其他数据存储)以及检查点数据将保存在哪里。

例如，MemoryStateBackend 将状态作为对象维护在堆内存中。它是轻量级的，没有额外的依赖项，但只能检查小状态(一些计数器)。

相反，FsStateBackend 将状态检查点(也作为堆对象维护)存储在文件中。当使用复制文件系统(如 HDFS、S3、Alluxio 等)时，这将保证单个节点发生故障时状态不会丢失，并且流式程序可以高可用且强一致地执行(假设 Flink 运行在高可用环境中)可用性模式)。

内置状态后端包括：

MemoryStateBackend、FsStateBackend 和 RocksDBStateBackend。

例子：

>>> env.set_state_backend(EmbeddedRocksDBStateBackend())

参数：

state_backend- 这StateBackend.

返回：

这个对象。