当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python pyflink StreamExecutionEnvironment.set_state_backend用法及代码示例


本文简要介绍 python 语言中pyflink.datastream.StreamExecutionEnvironment.set_state_backend的用法。

用法:

set_state_backend(state_backend: pyflink.datastream.state_backend.StateBackend) → pyflink.datastream.stream_execution_environment.StreamExecutionEnvironment

设置说明如何存储和检查点操作符状态的状态后端。它定义了哪些数据结构在执行期间保持状态(例如哈希表、RockDB 或其他数据存储)以及检查点数据将保存在哪里。

例如,MemoryStateBackend 将状态作为对象维护在堆内存中。它是轻量级的,没有额外的依赖项,但只能检查小状态(一些计数器)。

相反,FsStateBackend 将状态检查点(也作为堆对象维护)存储在文件中。当使用复制文件系统(如 HDFS、S3、Alluxio 等)时,这将保证单个节点发生故障时状态不会丢失,并且流式程序可以高可用且强一致地执行(假设 Flink 运行在高可用环境中)可用性模式)。

内置状态后端包括:

MemoryStateBackendFsStateBackendRocksDBStateBackend

例子:

>>> env.set_state_backend(EmbeddedRocksDBStateBackend())

参数:

state_backend- 这StateBackend.

返回:

这个对象。

相关用法


注:本文由纯净天空筛选整理自apache.org大神的英文原创作品 pyflink.datastream.StreamExecutionEnvironment.set_state_backend。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。