Python pyflink StreamExecutionEnvironment.set_state_backend用法及代碼示例

本文簡要介紹 python 語言中pyflink.datastream.StreamExecutionEnvironment.set_state_backend的用法。

用法:

set_state_backend(state_backend: pyflink.datastream.state_backend.StateBackend) → pyflink.datastream.stream_execution_environment.StreamExecutionEnvironment

設置說明如何存儲和檢查點操作符狀態的狀態後端。它定義了哪些數據結構在執行期間保持狀態(例如哈希表、RockDB 或其他數據存儲)以及檢查點數據將保存在哪裏。

例如，MemoryStateBackend 將狀態作為對象維護在堆內存中。它是輕量級的，沒有額外的依賴項，但隻能檢查小狀態(一些計數器)。

相反，FsStateBackend 將狀態檢查點(也作為堆對象維護)存儲在文件中。當使用複製文件係統(如 HDFS、S3、Alluxio 等)時，這將保證單個節點發生故障時狀態不會丟失，並且流式程序可以高可用且強一致地執行(假設 Flink 運行在高可用環境中)可用性模式)。

內置狀態後端包括：

MemoryStateBackend、FsStateBackend 和 RocksDBStateBackend。

例子：

>>> env.set_state_backend(EmbeddedRocksDBStateBackend())

參數：

state_backend- 這StateBackend.

返回：

這個對象。