如何在CentOS上部署HDFS集群-CentOS-PHP中文网

如何在CentOS上部署HDFS集群

小老鼠

发布： 2025-06-08 08:08:12

原创

118人浏览过

在centos系统上搭建hdfs集群，需要经过多个步骤，包括java环境配置、hadoop安装、环境变量设置、namenode格式化以及集群启动等。以下步骤提供了一个简明指南：

第一步：Java环境配置

首先，确认系统已安装Java 8。可以使用以下命令进行安装：

yum install -y java-1.8.0-openjdk-devel

登录后复制

然后，配置Java环境变量：

echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile
source /etc/profile
java -version  # 验证Java版本

登录后复制

第二步：Hadoop安装

下载Hadoop安装包并解压到指定目录（例如/usr/local/hadoop）：

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/
ln -s /usr/local/hadoop/hadoop-3.2.1 /usr/local/hadoop/hadoop

登录后复制

第三步：配置SSH免密登录

在主节点上生成SSH密钥，并将其复制到所有节点：

ssh-keygen -t rsa
ssh-copy-id hadoop11
ssh-copy-id hadoop12
ssh-copy-id hadoop13
```  (将`hadoop11`, `hadoop12`, `hadoop13`替换为你的实际节点名称)


**第四步：Hadoop环境变量配置**

编辑`/etc/profile`文件，添加以下内容：

```bash
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

登录后复制

第五步：Hadoop配置文件配置

修改Hadoop配置文件，确保所有节点配置一致。关键配置如下：

core-site.xml:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop11:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/data</value>
  </property>
</configuration>

登录后复制

hdfs-site.xml:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop12:9868</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/data/datanode</value>
  </property>
</configuration>

登录后复制

(请根据你的实际节点名称和目录进行修改)

第六步：HDFS集群初始化

在NameNode节点上执行以下命令格式化集群：