本教程旨在解决PySpark环境中常见的`TypeError: 'JavaPackage' object is not callable`错误。该错误通常在使用RDD操作时发生，源于PySpark内部对JVM函数的错误引用。文章将详细解释错误原因，提供修改PySpark核心文件`rdd.py`的解决方案，并强调操作注意事项，确保用户能够顺利运行PySpark应用程序。
当在PySpark应用程序中遇到TypeError: 'JavaPackage' object is not callable错误时，这通常意味着PySpark尝试通过Py4J库调用一个Java对象或方法，但它错误地将一个Java包（JavaPackage）当作一个可调用的函数或类来处理。在PySpark的执行栈中，这种错误往往发生在Python与JVM之间进行通信，特别是涉及到序列化和执行Python函数时。
根据提供的错误堆栈信息，该问题发生在pyspark/rdd.py文件中的_wrap_function内部，具体是在尝试调用sc._jvm.SimplePythonFunction时：
File ~\anaconda3\envs\spark_latest\Lib\site-packages\pyspark\rdd.py:5243, in _wrap_function(sc, func, deserializer, serializer, profiler)
...
return sc._jvm.SimplePythonFunction(
bytearray(pickled_command),
env,
includes,
sc.pythonExec,
sc.pythonVer,
broadcast_vars,
sc._javaAccumulator,
)
TypeError: 'JavaPackage' object is not callable这表明在当前的PySpark版本（例如PySpark 3.4.1）与Java版本（例如Java 21）组合下，sc._jvm.SimplePythonFunction可能不再是PySpark期望的可调用对象。它可能已被重命名、移除，或者在JVM中其路径发生了变化，导致_jvm在尝试解析它时将其识别为一个包而非一个具体的类。
立即学习“Java免费学习笔记（深入）”；
以下是可能触发此错误的代码片段：
from pyspark.sql import SparkSession
# 初始化SparkSession
spark = SparkSession.builder.appName("practice").getOrCreate()
sc = spark.sparkContext # 获取SparkContext
data_path = "pathToFile/TelecomData.csv" # 请替换为实际文件路径
rdd = sc.textFile(data_path)
# 过滤RDD数据
filteredRdd = rdd.filter(lambda pair: pair.split(",")[3] =='Y' and pair.split(",")[9] =='Y')
# 收集并打印结果，此处可能触发错误
for rows in filteredRdd.collect():
print(rows)
# 停止SparkSession
spark.stop()当执行filteredRdd.collect()操作时，PySpark需要将Python的lambda函数（filter操作）序列化并发送到JVM执行。在此过程中，PySpark内部会调用_wrap_function来创建Java端的Python函数代理，此时便可能遇到TypeError: 'JavaPackage' object is not callable。
解决此问题的一个有效方法是修改PySpark库中的rdd.py文件，将对SimplePythonFunction的引用更改为PythonFunction。这表明在某些PySpark版本中，PythonFunction可能是正确的Java类名或路径，而SimplePythonFunction可能已弃用或不再可用。
重要提示： 直接修改第三方库的源文件是一种临时性的解决方案或变通方法。它可能在库更新后被覆盖，且不属于官方推荐的操作。在生产环境中，应优先考虑升级PySpark版本、调整Java版本或查找官方补丁。
操作步骤：
定位rdd.py文件：
您需要找到安装PySpark的Python环境中的rdd.py文件。通常，它位于您的Python环境的site-packages/pyspark/rdd.py路径下。
例如，如果您使用Anaconda，路径可能类似于：
C:\Users\
备份文件（可选但强烈建议）： 在进行任何修改之前，请务必备份rdd.py文件，以防修改导致其他问题。您可以简单地复制一份并重命名为rdd.py.bak。
编辑rdd.py文件： 使用文本编辑器（如VS Code, Sublime Text, Notepad++等）打开rdd.py文件。
查找并替换代码： 在文件中搜索SimplePythonFunction。您应该能找到类似以下的代码块（通常在_wrap_function函数内部，行号可能与错误堆栈中的5243略有不同）：
原始代码（可能导致错误）：
# ... 其他代码 ...
assert sc._jvm is not None
return sc._jvm.SimplePythonFunction( # 这一行是关键
bytearray(pickled_command),
env,
includes,
sc.pythonExec,
sc.pythonVer,
broadcast_vars,
sc._javaAccumulator,
)
# ... 其他代码 ...修改后的代码： 将sc._jvm.SimplePythonFunction更改为sc._jvm.PythonFunction。
# ... 其他代码 ...
assert sc._jvm is not None
return sc._jvm.PythonFunction( # 更改为 PythonFunction
bytearray(pickled_command),
env,
includes,
sc.pythonExec,
sc.pythonVer,
broadcast_vars,
sc._javaAccumulator,
)
# ... 其他代码 ...保存文件： 保存对rdd.py文件的修改。
重启PySpark应用程序： 关闭并重新启动您的Jupyter Notebook会话或任何PySpark应用程序，以确保加载修改后的rdd.py文件。
TypeError: 'JavaPackage' object is not callable错误在PySpark中是一个相对底层的内部错误，通常指示PySpark在与JVM通信时对Java类路径的引用不正确。通过将pyspark/rdd.py文件中对SimplePythonFunction的引用修改为PythonFunction，可以有效解决此问题。然而，用户在执行此类修改时应充分理解其潜在风险，并优先考虑官方推荐的解决方案，如版本升级或兼容性调整。
以上就是解决PySpark中‘JavaPackage’对象不可调用错误：深入解析与实践的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
114
收藏
