Python pyflink RocksDBStateBackend用法及代碼示例

本文簡要介紹 python 語言中 pyflink.datastream.RocksDBStateBackend 的用法。

用法:

class pyflink.datastream.RocksDBStateBackend(checkpoint_data_uri=None, enable_incremental_checkpointing=None, checkpoint_stream_backend=None, j_rocks_db_state_backend=None)

基礎：pyflink.datastream.state_backend.StateBackend

IMPORTANT RocksDBStateBackend不讚成使用EmbeddedRocksDBStateBackend和FileSystemCheckpointStorage.此更改不會影響 Job 的運行時特性，隻是一個 API 更改，以幫助更好地傳達 Flink 將本地狀態存儲與容錯分離的方式。可以在不丟失狀態的情況下升級作業。如果通過StreamExecutionEnvironment請進行以下更改。

>> env.set_state_backend(EmbeddedRocksDBStateBackend())
>> env.get_checkpoint_config().set_checkpoint_storage("hdfs://checkpoints")

如果您通過flink-conf.yaml 配置您的狀態後端，則無需更改。

將其狀態存儲在 RocksDB 中的狀態後端。此狀態後端可以存儲超出內存並溢出到磁盤的非常大的狀態。

所有的鍵/值狀態(包括窗口)都存儲在 RocksDB 的鍵/值索引中。對於機器丟失的持久性，檢查點拍攝RocksDB 數據庫的快照，並將該快照保留在文件係統(默認情況下)或另一個可配置的狀態後端。

RocksDB 實例的行為可以通過使用方法 set_predefined_options() 和 set_options() 設置 RocksDB 選項來參數化。