使用PyFlink提交作业到Yarn Application时，为什么无法找到Python脚本？-java教程-PHP中文网

使用PyFlink提交作业到Yarn Application时，为什么无法找到Python脚本？

碧海醫心

发布： 2025-03-19 09:46:31

原创

265人浏览过

使用pyflink提交作业到yarn application时，为什么无法找到python脚本？

PyFlink在Yarn Application中找不到Python脚本的排查指南

使用PyFlink将作业提交到Yarn Application时，经常会遇到找不到Python脚本的错误。本文分析一个具体案例，用户提交PyFlink作业时报错找不到wc2.py脚本。

问题重现

用户使用以下命令提交PyFlink作业：

./flink run-application -t yarn-application \
-dyarn.application.name=flinkcdctestpython \
-dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \
-pyarch hdfs://nameservice1/pyflink/pyflink181.zip \
-pyclientexec pyflink181.zip/pyflink181/bin/python \
-pyexec pyflink181.zip/pyflink181/bin/python \
-py hdfs://nameservice1/pyflink/wc2.py

登录后复制

结果报错：

2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory

登录后复制

而提交Java作业则成功：

立即学习“Python免费学习笔记（深入）”；

./flink run-application -t yarn-application \
-djobmanager.memory.process.size=1024m \
-dtaskmanager.memory.process.size=1024m \
-dyarn.application.name=flinkcdctest \
-dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \
hdfs://nameservice1/pyflink/statemachineexample.jar

登录后复制

这表明HDFS配置正确。

问题排查步骤

验证Python脚本路径: 使用HDFS命令验证hdfs://nameservice1/pyflink/wc2.py是否存在且可访问：
```
hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py
```
登录后复制
检查权限: 确认Yarn Application运行用户对该Python脚本拥有读取权限。
Python环境验证: 仔细检查-pyclientexec和-pyexec参数指定的Python解释器路径是否正确，并确保pyflink181.zip中的Python环境配置完整且有效。
版本兼容性: 确保PyFlink版本与Flink版本兼容。版本不兼容可能导致脚本无法正确加载。

增强日志: 提高日志级别以获取更多调试信息：

./flink run-application -t yarn-application \
-Dlog4j.logger.org.apache.flink.client.python=DEBUG \
# 其他参数...

登录后复制

通过以上步骤，可以系统地排查PyFlink作业在Yarn Application中找不到Python脚本的问题，并找到根本原因。建议逐一检查，并根据日志信息进行更精细的排查。

以上就是使用PyFlink提交作业到Yarn Application时，为什么无法找到Python脚本？的详细内容，更多请关注php中文网其它相关文章！