如何在CentOS上安装HDFS集群-CentOS-PHP中文网

如何在CentOS上安装HDFS集群

煙雲

发布： 2025-06-19 08:12:12

原创

397人浏览过

在centos上部署hdfs集群需要经历一系列操作，涵盖hadoop环境的搭建、ssh无密码认证的配置、hdfs相关参数的设定以及服务的启动。以下为详细的实施步骤：

必备条件

操作系统：CentOS 7.x 或更新版本。
Java支持：Hadoop依赖于Java环境，请安装OpenJDK或Oracle JDK。
网络连通性：确保各节点间能够无障碍通信。

实施流程

1. Java安装

<code>sudo yum install -y java-1.8.0-openjdk-devel</code>

登录后复制

2. Hadoop下载与解压

<code>wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop</code>

登录后复制

3. 设置环境变量

编辑/etc/profile.d/hadoop.sh文件，加入如下内容：

<code>export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin</code>

登录后复制

之后应用更改：

<code>source /etc/profile.d/hadoop.sh</code>

登录后复制

4. SSH免密登录配置

在每个节点生成SSH密钥，并将公钥分发至其他节点：

<code>ssh-keygen -t rsa
ssh-copy-id hadoop@node2
ssh-copy-id hadoop@node3</code>

登录后复制

5. Hadoop配置

修改$HADOOP_HOME/etc/hadoop/hadoopEnv.sh，指定Java路径：

<code>export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk</code>

登录后复制

更新$HADOOP_HOME/etc/hadoop/core-site.xml以定义HDFS默认文件系统：

<code><configuration><property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value></property></configuration></code>

登录后复制

编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml来调整HDFS副本数量及其他参数：

<code><configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop/data/datanode</value></property></configuration></code>

登录后复制

调整$HADOOP_HOME/etc/hadoop/mapred-site.xml以配置MapReduce框架：

如知AI笔记

如知笔记——支持markdown的在线笔记，支持ai智能写作、AI搜索，支持DeepseekR1满血大模型

查看详情

<code><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration></code>

登录后复制

最后，编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml配置YARN：

<code><configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration></code>

登录后复制