本文简要介绍 python 语言中pyflink.datastream.StreamExecutionEnvironment.set_state_backend
的用法。
用法:
set_state_backend(state_backend: pyflink.datastream.state_backend.StateBackend) → pyflink.datastream.stream_execution_environment.StreamExecutionEnvironment
设置说明如何存储和检查点操作符状态的状态后端。它定义了哪些数据结构在执行期间保持状态(例如哈希表、RockDB 或其他数据存储)以及检查点数据将保存在哪里。
例如,
MemoryStateBackend
将状态作为对象维护在堆内存中。它是轻量级的,没有额外的依赖项,但只能检查小状态(一些计数器)。相反,
FsStateBackend
将状态检查点(也作为堆对象维护)存储在文件中。当使用复制文件系统(如 HDFS、S3、Alluxio 等)时,这将保证单个节点发生故障时状态不会丢失,并且流式程序可以高可用且强一致地执行(假设 Flink 运行在高可用环境中)可用性模式)。- 内置状态后端包括:
MemoryStateBackend
、FsStateBackend
和RocksDBStateBackend
。
例子:
>>> env.set_state_backend(EmbeddedRocksDBStateBackend())
参数:
state_backend- 这
StateBackend
.返回:
这个对象。
相关用法
- Python pyflink StreamExecutionEnvironment.set_stream_time_characteristic用法及代码示例
- Python pyflink StreamExecutionEnvironment.set_restart_strategy用法及代码示例
- Python pyflink StreamExecutionEnvironment.set_python_executable用法及代码示例
- Python pyflink StreamExecutionEnvironment.set_default_savepoint_directory用法及代码示例
- Python pyflink StreamExecutionEnvironment.set_python_requirements用法及代码示例
- Python pyflink StreamExecutionEnvironment.enable_checkpointing用法及代码示例
- Python pyflink StreamExecutionEnvironment.add_python_archive用法及代码示例
- Python pyflink StreamExecutionEnvironment.register_type用法及代码示例
- Python pyflink StreamExecutionEnvironment.add_default_kryo_serializer用法及代码示例
- Python pyflink StreamExecutionEnvironment.register_type_with_kryo_serializer用法及代码示例
- Python pyflink StreamTableEnvironment.from_data_stream用法及代码示例
- Python pyflink StreamTableEnvironment.create用法及代码示例
- Python pyflink StreamTableEnvironment.to_changelog_stream用法及代码示例
- Python pyflink StatementSet.add_insert用法及代码示例
- Python pyflink Session用法及代码示例
- Python pyflink Slide用法及代码示例
- Python pyflink Schema.Builder.watermark用法及代码示例
- Python pyflink Schema.Builder.column_by_expression用法及代码示例
- Python pyflink SlidingProcessingTimeWindows用法及代码示例
- Python pyflink SlidingEventTimeWindows用法及代码示例
- Python pyflink Table.intersect_all用法及代码示例
- Python pyflink GroupedTable.select用法及代码示例
- Python pyflink Expression.to_date用法及代码示例
- Python pyflink Table.fetch用法及代码示例
- Python pyflink PulsarSourceBuilder用法及代码示例
注:本文由纯净天空筛选整理自apache.org大神的英文原创作品 pyflink.datastream.StreamExecutionEnvironment.set_state_backend。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。