本文简要介绍 python 语言中 pyflink.table.TableEnvironment.add_python_archive
的用法。
用法:
add_python_archive(archive_path: str, target_dir: str = None)
添加一个 python 归档文件。该文件将被提取到 python UDF worker 的工作目录中。
如果指定了参数“target_dir”,则归档文件将被解压到名为${target_dir} 的目录中。否则,归档文件将被解压到与归档文件同名的目录中。
如果python UDF依赖于集群中不存在的特定python版本,可以使用此方法上传虚拟环境。请注意,上传环境中包含的python解释器的路径应通过方法
pyflink.table.TableConfig.set_python_executable()
指定。通过此方法上传的文件也可以通过相对路径在 UDF 中访问。
例子:
# command executed in shell # assert the relative path of python interpreter is py_env/bin/python $ zip -r py_env.zip py_env # python code >>> table_env.add_python_archive("py_env.zip") >>> table_env.get_config().set_python_executable("py_env.zip/py_env/bin/python") # or >>> table_env.add_python_archive("py_env.zip", "myenv") >>> table_env.get_config().set_python_executable("myenv/py_env/bin/python") # the files contained in the archive file can be accessed in UDF >>> def my_udf(): ... with open("myenv/py_env/data/data.txt") as f: ... ...
注意:
请确保上传的python环境与集群运行的平台匹配,python版本必须为3.5或更高。
注意:
目前仅支持zip-format。即 zip、jar、whl、egg 等。不支持其他存档格式,例如 tar、tar.gz、7z、rar 等。
参数:
archive_path- 存档文件路径。
target_dir- 可选,存档文件提取到的目标目录名称。
版本 1.10.0 中的新函数。
相关用法
- Python pyflink TableEnvironment.create_temporary_function用法及代码示例
- Python pyflink TableEnvironment.register_table_source用法及代码示例
- Python pyflink TableEnvironment.create_java_temporary_function用法及代码示例
- Python pyflink TableEnvironment.use_catalog用法及代码示例
- Python pyflink TableEnvironment.create_temporary_system_function用法及代码示例
- Python pyflink TableEnvironment.create_temporary_table用法及代码示例
- Python pyflink TableEnvironment.sql_query用法及代码示例
- Python pyflink TableEnvironment.create_java_temporary_system_function用法及代码示例
- Python pyflink TableEnvironment.register_table_sink用法及代码示例
- Python pyflink TableEnvironment.register_table用法及代码示例
- Python pyflink TableEnvironment.register_java_function用法及代码示例
- Python pyflink TableEnvironment.scan用法及代码示例
- Python pyflink TableEnvironment.from_path用法及代码示例
- Python pyflink TableEnvironment.from_elements用法及代码示例
- Python pyflink TableEnvironment.use_database用法及代码示例
- Python pyflink TableEnvironment.create_table用法及代码示例
- Python pyflink TableEnvironment.from_table_source用法及代码示例
- Python pyflink TableEnvironment.set_python_requirements用法及代码示例
- Python pyflink TableEnvironment.register_function用法及代码示例
- Python pyflink TableEnvironment.create_java_function用法及代码示例
- Python pyflink TableEnvironment.from_pandas用法及代码示例
- Python pyflink TableEnvironment.from_descriptor用法及代码示例
- Python pyflink Table.intersect_all用法及代码示例
- Python pyflink Table.fetch用法及代码示例
- Python pyflink Table.right_outer_join用法及代码示例
注:本文由纯净天空筛选整理自apache.org大神的英文原创作品 pyflink.table.TableEnvironment.add_python_archive。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。