Python pyflink StreamExecutionEnvironment.set_python_requirements用法及代碼示例

本文簡要介紹 python 語言中pyflink.datastream.StreamExecutionEnvironment.set_python_requirements的用法。

用法:

set_python_requirements(requirements_file_path: str, requirements_cache_dir: str = None)

指定定義第三方依賴項的requirements.txt 文件。這些依賴項將安裝到一個臨時目錄並添加到 python UDF worker 的 PYTHONPATH 中。

對於集群中無法訪問的依賴，可以使用參數“requirements_cached_dir”來指定包含這些依賴的安裝包的目錄。它將被上傳到集群以支持離線安裝。

例子：

# commands executed in shell
$ echo numpy==1.16.5 > requirements.txt
$ pip download -d cached_dir -r requirements.txt --no-binary :all:

# python code
>>> stream_env.set_python_requirements("requirements.txt", "cached_dir")

注意：

請確保安裝包與集群平台和使用的python版本匹配。這些軟件包將使用 pip 安裝，因此還要確保 Pip 的版本(版本 >= 7.1.0)和 SetupTools 的版本(版本 >= 37.0.0)。

參數：

• requirements_file_path- “requirements.txt” 文件的路徑。

• requirements_cache_dir- 包含安裝包的本地目錄的路徑。