如何 debug Hive 源码，知其然知其所以然-Windows系列-PHP中文网

如何 debug Hive 源码，知其然知其所以然

看不見的法師

发布： 2025-09-06 09:13:32

原创

965人浏览过

在最近的出差过程中，客户现场的 hiveserver 长时间不可用，查看 cm 的监控发现，hiveserver 的内存在一特定时刻急剧增加，同时 jvm 开始进行垃圾回收（gc），每次 gc 长达一分钟，导致 hiveserver 在很长一段时间内无法使用。

查看了 HiveServer 日志，发现内存暴涨的时间点上，执行了一个简单的 SQL 查询：

select count(1) from table

登录后复制

，这个表有超过 2 万个分区，并且这个查询被多次执行。

然而，我一直无法解释这样简单的 SQL 查询是如何执行的，以及 MapReduce 的哪个阶段产生了哪些对象，占用了 HiveServer 的内存。

（因此被客户鄙视了，囧！）

这个问题其实有两种解决方案，可以同时进行：

一种方法是将 HiveServer 在那个时刻的内存 dump 下来，分析其中究竟是什么内容；但这样无法看到具体的执行流程；另一种方法是下载 Hive 源码，直接进行 Debug 来跟踪执行过程，弄清楚之后，就可以解释中间的过程了。本文正是为 debug Hive 源码准备的环境。

一、服务器环境准备

我使用的是 VirtualBox，操作系统为 CentOS 7。

配置 hosts：

安装必要的包：

yum install -y which dos2unix

登录后复制

二、Hadoop Standalone 环境搭建

下载一个 Hadoop 发布包，地址是：

https://www.php.cn/link/83c706bcd62987cfd028da72db0f7f2c

下载这个文件：

hadoop-2.7.7.tar.gz

登录后复制

上传到服务器，并解压缩到本地，我的目录是

/my2/hadoop

登录后复制

。

配置环境变量：

vi /etc/profile

登录后复制

追加：

JAVA_HOME=/usr/local/jdk1.8.0_131
HADOOP_HOME=/my2/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export PATH

登录后复制

刷新环境变量：

source /etc/profile

登录后复制

修改配置文件：

（1）修改

etc/hadoop/hadoop-env.sh

登录后复制

文件：

Java 路径为上文构建 JDK 镜像中，Dockerfile 中写的路径：

export JAVA_HOME=/usr/local/jdk1.8

登录后复制

（2）修改

etc/hadoop/core-site.xml

登录后复制

文件：

这里有个写死的项是主机名，我的是

hadoop001

登录后复制

，修改成你自己的：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop001:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
  </property>
</configuration>

登录后复制

（3）修改

etc/hadoop/hdfs-site.xml

登录后复制

文件：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>

登录后复制

（4）修改

etc/hadoop/yarn-site.xml

登录后复制

文件：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
</configuration>

登录后复制

（5）修改

etc/hadoop/mapred-site.xml.template

登录后复制

文件：

重命名为

mapred-site.xml

登录后复制

，内容修改如下：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

登录后复制

启动 Hadoop：

格式化 HDFS：

chmod -R 775 /my2/hadoop/*
/my2/hadoop/bin/hdfs namenode -format

登录后复制

启动 Standalone 模式：

/my2/hadoop/sbin/start-all.sh

登录后复制

查看是否启动成功：

jps

登录后复制

如何 debug Hive 源码，知其然知其所以然 image-20210117203128158

三、编译 Hive 源码

从 Gitee 上克隆 Hive 的代码：

https://www.php.cn/link/fe53ff5f33342773a12c81d85fb0a090

注意克隆之前一定要设置一下 Git 换行符是否自动转换的：

表示检出时 (clone)，不自动转换为 CRLF（Windows）格式，以免最终打出来的包，脚本的格式都是 Windows 格式的，无法运行。

如知AI笔记

如知笔记——支持markdown的在线笔记，支持ai智能写作、AI搜索，支持DeepseekR1满血大模型

查看详情

git config --global core.autocrlf input

登录后复制

克隆到本地：

git clone git@gitee.com:apache/hive.git

登录后复制

切换到 2.1.0 分支：

git checkout rel/release-2.1.0

登录后复制

本地需要先编译一下整个工程，因为有些代码是用 ANTLR 自动生成的，编译之后，会产生对应的类。

这里必须指定 profile 为 hadoop-2 来支持 Hadoop 2.x 版本：

mvn clean package -Phadoop-2 -DskipTests -Pdist

登录后复制

如何 debug Hive 源码，知其然知其所以然 image-20210116161131896

编译完之后，在 packaging 包中会生成一个二进制包，这个包可以在服务器上运行的：

如何 debug Hive 源码，知其然知其所以然 image-20210117203723039

四、Hive 环境搭建

上传包并且解压缩，重命名解压缩后的目录为

hive

登录后复制

：

如何 debug Hive 源码，知其然知其所以然 image-20210116222020761

使用 Docker 启动 MySQL（使用 Docker 比较方便，你也可以使用你自己的 MySQL）：

docker run -d -it --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=debezium -e MYSQL_USER=mysqluser -e MYSQL_PASSWORD=mysqlpw debezium/example-mysql

登录后复制

配置

hive-site.xml

登录后复制

：

cd /my2/hive/conf
cp hive-default.xml.template hive-site.xml
vi hive-site.xml

登录后复制

打开发现里面每一行都有一个

^M

登录后复制

字符，这是 Windows 换行符导致的，使用

dos2unix

登录后复制

替换即可：

dos2unix hive-site.xml

登录后复制

编辑

hive-site.xml

登录后复制

：

vi hive-site.xml

登录后复制

按 Esc，输入

/Connection

登录后复制

（搜索 Connection），把搜索到的这几个 key 的值，替换成下面的：

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>debezium</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.56.10:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>

登录后复制

复制 MySQL 驱动到 Hive 的 lib 目录下。

初始化 metastore 的数据库：

/my2/hive/bin/schematool -dbType mysql -initSchema

登录后复制

接着

vi hive-site.xml

登录后复制

，搜索

/user.name

登录后复制

：

把 {system:java.io.tmpdir} 改成 /home/hadoop/hive/tmp/
把 {system:user.name} 改成 {user.name}

登录后复制

启动 Hive 命令行即可：

搜索 Connection

登录后复制

五、导入到 IDEA 中 Debug

然后把源码导入 IDEA 中，等待 IDEA 完成。

这里的 Debug 很简单，我们在服务器上远程 Debug。

首先在服务器上执行：

hive --debug

登录后复制

如何 debug Hive 源码，知其然知其所以然 image-20210117204324201

服务器显示在本机的 8000 端口等待连接。

然后我们在 IDEA 中配置一个远程 debug：

如何 debug Hive 源码，知其然知其所以然 image-20210117204425904

点击 Debug 按钮，就可以进行 Debug 了。

主要是 Debug 一下

CLIDriver

登录后复制

的

main

登录后复制

方法，里面有一个

run

登录后复制

方法：

如何 debug Hive 源码，知其然知其所以然 image-20210117205731396

追踪到后面的源码，可以发现一直在等待用户的输入，每次输入之后，都会用

processLine

登录后复制

方法处理：

如何 debug Hive 源码，知其然知其所以然 image-20210117205824507

processLine

登录后复制

也就是 Hive 执行 SQL 的主要逻辑了，熟读这块代码，便可看到 Hive 的核心逻辑。

具体的逻辑正在研究中，有成果了会发文，敬请期待。

以上就是如何 debug Hive 源码，知其然知其所以然的详细内容，更多请关注php中文网其它相关文章！

大家都在看：

为VS Code配置支持git以及mysql命令的终端腾讯云服务器搭建网站教程【PHP+MYSQL环境】通过脚本在Docker环境中一键安装mysql主从环境 MySQL的skip-grant-tables MySQL数据库学习·如何安装SQL数据库和连接Navicat Premium