Python pyflink RocksDBStateBackend用法及代码示例

本文简要介绍 python 语言中 pyflink.datastream.RocksDBStateBackend 的用法。

用法:

class pyflink.datastream.RocksDBStateBackend(checkpoint_data_uri=None, enable_incremental_checkpointing=None, checkpoint_stream_backend=None, j_rocks_db_state_backend=None)

基础：pyflink.datastream.state_backend.StateBackend

IMPORTANT RocksDBStateBackend不赞成使用EmbeddedRocksDBStateBackend和FileSystemCheckpointStorage.此更改不会影响 Job 的运行时特性，只是一个 API 更改，以帮助更好地传达 Flink 将本地状态存储与容错分离的方式。可以在不丢失状态的情况下升级作业。如果通过StreamExecutionEnvironment请进行以下更改。

>> env.set_state_backend(EmbeddedRocksDBStateBackend())
>> env.get_checkpoint_config().set_checkpoint_storage("hdfs://checkpoints")

如果您通过flink-conf.yaml 配置您的状态后端，则无需更改。

将其状态存储在 RocksDB 中的状态后端。此状态后端可以存储超出内存并溢出到磁盘的非常大的状态。

所有的键/值状态(包括窗口)都存储在 RocksDB 的键/值索引中。对于机器丢失的持久性，检查点拍摄RocksDB 数据库的快照，并将该快照保留在文件系统(默认情况下)或另一个可配置的状态后端。

RocksDB 实例的行为可以通过使用方法 set_predefined_options() 和 set_options() 设置 RocksDB 选项来参数化。