如何准确查看Spark Core版本：解决PySpark版本混淆问题

在分布式计算框架spark中，尤其是在使用pyspark进行开发时，开发者经常会遇到一个困惑：如何准确地获取当前运行的spark core版本？常见的查询方法，例如pyspark.__version__、spark.version（或ss.version）以及sc.version，通常返回的是pyspark客户端库的版本信息，而非实际在集群上运行的底层jvm spark core的版本。当pyspark客户端版本与集群上部署的spark core版本不一致时，这会导致误判，进而引发兼容性问题。

常见的版本查询误区

用户通常会尝试以下几种方式来获取Spark版本：

• pyspark.__version__: 这直接返回安装在用户本地环境的PySpark库的版本。
• ss.version 或 spark.version (通过SparkSession对象): 这同样反映的是与PySpark客户端绑定的版本信息。
• sc.version (通过SparkContext对象): 类似于ss.version，它也指向PySpark的版本。
• ./bin/spark-submit --version: 这个命令在用户机器上执行时，显示的是用户本地spark-submit工具的版本，而不是集群上实际运行的Spark Core版本。

这些方法在PySpark客户端与集群Spark Core版本不一致时，都无法提供准确的Spark Core版本信息。特别是在YARN等集群环境中，用户通过PySpark客户端连接到集群，真正执行计算的是集群上的Spark Core实例。

核心解决方案：利用SQL version() 函数

为了准确获取集群上运行的Spark Core版本，最可靠的方法是直接通过Spark SQL引擎查询。Spark 3.0及更高版本引入了一个内置的SQL函数version()，它可以直接返回当前Spark会话所连接的Spark Core的精确版本信息。

在PySpark中执行SQL查询

即使是在PySpark环境中，我们也可以通过SparkSession对象执行SQL查询。以下是一个Python示例，展示如何利用spark.sql()方法来调用version()函数：

from pyspark.sql import SparkSession

# 假设您已经创建了SparkSession实例
# ss = SparkSession.builder.config(conf=conf).getOrCreate()
# 为了演示，这里创建一个本地SparkSession
ss = SparkSession.builder \
    .appName("SparkCoreVersionCheck") \
    .master("local[*]") \
    .getOrCreate()

# 执行SQL查询获取Spark Core版本
version_df = ss.sql("SELECT version()")
version_df.show(truncate=False)

# 停止SparkSession
ss.stop()

输出示例：

+----------------------------------------------+
|version()                                     |
+----------------------------------------------+
|3.3.2 5103e00c4ce...                          |
+----------------------------------------------+

这个输出直接显示了Spark Core的完整版本字符串，包括构建版本号和Git提交哈希值，确保了信息的准确性。

简篇AI排版

AI排版工具，上传图文素材，秒出专业效果！

554

查看详情

Java/Scala示例（作为参考）

虽然本文主要关注PySpark，但为了完整性，以下是Java或Scala中执行相同SQL查询的示例：

import org.apache.spark.sql.SparkSession;

public class SparkVersionCheck {
    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder()
                .appName("SparkCoreVersionCheckJava")
                .master("local[*]")
                .getOrCreate();

        spark.sql("select version()").show();

        spark.stop();
    }
}

PySpark API 方法：pyspark.sql.functions.version()

对于PySpark 3.5及更高版本，pyspark.sql.functions模块中也直接提供了version()函数，这使得在DataFrame操作中获取版本信息更为便捷。

from pyspark.sql import SparkSession
from pyspark.sql.functions import version

# 假设您已经创建了SparkSession实例
ss = SparkSession.builder \
    .appName("PySparkAPIVersionCheck") \
    .master("local[*]") \
    .getOrCreate()

# 创建一个任意的DataFrame，然后使用version()函数
df = ss.range(1) # 创建一个单行DataFrame
df.select(version()).show(truncate=False)

# 停止SparkSession
ss.stop()

输出示例：

+----------------------------------------------+
|version()                                     |
+----------------------------------------------+
|3.5.0 cafbea5b13623276517a9d716f75745eff91f616|
+----------------------------------------------+

这种方法在功能上与执行SQL查询等效，但对于习惯使用PySpark DataFrame API的用户来说，可能更为直观。

注意事项

1. 版本兼容性：
   • SQL version() 函数：要求Spark Core版本为 3.0.0 或更高。
   • PySpark pyspark.sql.functions.version()：要求PySpark客户端版本为 3.5.0 或更高。如果您的PySpark版本低于3.5，请使用SQL查询方法。
2. 集群环境： 在YARN、Kubernetes等集群环境中，确保您的SparkSession正确连接到集群，这样version()函数才能返回集群上实际运行的Spark Core版本。如果SparkSession仅在本地模式运行，它将返回本地Spark Core的版本。
3. 精确性： version()函数返回的字符串通常包含主版本号、次版本号、补丁版本号以及一个Git提交哈希值，这提供了非常详细且准确的版本信息。

总结

准确获取Spark Core版本是确保应用程序兼容性和排查问题的重要一步。通过本文介绍的两种方法——执行SQL SELECT version()查询（适用于Spark 3.0+）或使用pyspark.sql.functions.version()函数（适用于PySpark 3.5+），您可以可靠地识别集群上运行的Spark Core版本，避免PySpark客户端版本带来的混淆。在生产环境中，建议始终使用这些方法来验证Spark环境的配置。

以上就是如何准确查看Spark Core版本：解决PySpark版本混淆问题的详细内容，更多请关注php中文网其它相关文章！