Python pyflink StreamExecutionEnvironment.set_python_executable用法及代码示例

本文简要介绍 python 语言中pyflink.datastream.StreamExecutionEnvironment.set_python_executable的用法。

用法:

set_python_executable(python_exec: str)

设置用于执行 python udf worker 的 python 解释器的路径。

例如“/usr/local/bin/python3”。

如果 python UDF 依赖于集群中不存在的特定 python 版本，该方法pyflink.datastream.StreamExecutionEnvironment.add_python_archive()可用于上传虚拟环境。通过该方法可以指定上传环境中包含的python解释器的路径。

例子：

# command executed in shell
# assume that the relative path of python interpreter is py_env/bin/python
$ zip -r py_env.zip py_env

# python code
>>> stream_env.add_python_archive("py_env.zip")
>>> stream_env.set_python_executable("py_env.zip/py_env/bin/python")

注意：

请确保上传的python环境与集群运行的平台相匹配，并且python版本必须为3.6或更高。

注意：

python udf worker 依赖于 Apache Beam(版本 == 2.27.0)。请确保指定的环境满足上述要求。

参数：

python_exec - python 解释器的路径。