如何快速配置CentOS HDFS-CentOS-PHP中文网

如何快速配置CentOS HDFS

月夜之吻

发布： 2025-03-18 15:50:18

原创

303人浏览过

在centos系统上部署hadoop分布式文件系统(hdfs)需要多个步骤，以下指南简述了单机模式下的配置过程。完整集群部署更为复杂。

1. Java环境配置

首先，确保系统已安装Java。使用以下命令安装OpenJDK：

yum install -y java-1.8.0-openjdk-devel

登录后复制

配置Java环境变量：

echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile
echo "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profile
source /etc/profile
java -version

登录后复制

2. SSH免密登录设置

为了节点间无缝通信，需配置SSH免密登录。

生成SSH密钥对：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

登录后复制

将公钥复制到所有节点 (此处仅为单机配置，故省略此步骤)：

3. Hadoop下载与解压

从Apache Hadoop官网下载Hadoop发行版，并解压到指定目录：

wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz
tar -zxvf hadoop-3.1.3.tar.gz
mv hadoop-3.1.3 /opt/hadoop

登录后复制

4. Hadoop环境变量配置

编辑/etc/profile文件，添加以下环境变量：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile

登录后复制

5. Hadoop配置文件修改

core-site.xml

编辑/opt/hadoop/etc/hadoop/core-site.xml，添加以下内容 (将192.168.1.1替换为你的主机IP)：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.1.1:9000</value>
  </property>
</configuration>

登录后复制

hdfs-site.xml

编辑/opt/hadoop/etc/hadoop/hdfs-site.xml，添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hdfs/datanode</value>
  </property>
</configuration>

登录后复制