Python pyflink StreamExecutionEnvironment.set_python_executable用法及代碼示例

本文簡要介紹 python 語言中pyflink.datastream.StreamExecutionEnvironment.set_python_executable的用法。

用法:

set_python_executable(python_exec: str)

設置用於執行 python udf worker 的 python 解釋器的路徑。

例如“/usr/local/bin/python3”。

如果 python UDF 依賴於集群中不存在的特定 python 版本，該方法pyflink.datastream.StreamExecutionEnvironment.add_python_archive()可用於上傳虛擬環境。通過該方法可以指定上傳環境中包含的python解釋器的路徑。

例子：

# command executed in shell
# assume that the relative path of python interpreter is py_env/bin/python
$ zip -r py_env.zip py_env

# python code
>>> stream_env.add_python_archive("py_env.zip")
>>> stream_env.set_python_executable("py_env.zip/py_env/bin/python")

注意：

請確保上傳的python環境與集群運行的平台相匹配，並且python版本必須為3.6或更高。

注意：

python udf worker 依賴於 Apache Beam(版本 == 2.27.0)。請確保指定的環境滿足上述要求。

參數：

python_exec - python 解釋器的路徑。