Python pyflink StreamExecutionEnvironment.set_python_requirements用法及代码示例

本文简要介绍 python 语言中pyflink.datastream.StreamExecutionEnvironment.set_python_requirements的用法。

用法:

set_python_requirements(requirements_file_path: str, requirements_cache_dir: str = None)

指定定义第三方依赖项的requirements.txt 文件。这些依赖项将安装到一个临时目录并添加到 python UDF worker 的 PYTHONPATH 中。

对于集群中无法访问的依赖，可以使用参数“requirements_cached_dir”来指定包含这些依赖的安装包的目录。它将被上传到集群以支持离线安装。

例子：

# commands executed in shell
$ echo numpy==1.16.5 > requirements.txt
$ pip download -d cached_dir -r requirements.txt --no-binary :all:

# python code
>>> stream_env.set_python_requirements("requirements.txt", "cached_dir")

注意：

请确保安装包与集群平台和使用的python版本匹配。这些软件包将使用 pip 安装，因此还要确保 Pip 的版本(版本 >= 7.1.0)和 SetupTools 的版本(版本 >= 37.0.0)。

参数：

• requirements_file_path- “requirements.txt” 文件的路径。

• requirements_cache_dir- 包含安装包的本地目录的路径。