怎样在CentOS上安装HDFS-CentOS-PHP中文网

怎样在CentOS上安装HDFS

月夜之吻

发布： 2025-04-27 08:20:28

原创

268人浏览过

在centos系统上部署hadoop分布式文件系统(hdfs)的完整指南

本指南详细介绍如何在CentOS系统上安装和配置Hadoop分布式文件系统(HDFS)。请确保您已具备基本的Linux命令行操作经验。

第一步：准备工作

首先，更新系统软件包并禁用防火墙和SELinux（推荐，但非强制）：

sudo yum update -y
sudo systemctl stop firewalld
sudo systemctl disable firewalld
sudo setenforce 0
sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

登录后复制

第二步：安装Java

Hadoop依赖Java运行环境。安装Java 8 (OpenJDK)：

sudo yum install -y java-1.8.0-openjdk-devel

登录后复制

第三步：下载和解压Hadoop

从Apache Hadoop官网下载最新稳定版本的Hadoop发行包。解压到/opt目录：

tar -xzvf hadoop-<version>.tar.gz -C /opt
sudo mv /opt/hadoop-<version> /opt/hadoop

登录后复制

(将<version></version>替换为实际的Hadoop版本号)

第四步：配置Hadoop

设置环境变量: 创建并编辑/etc/profile.d/hadoop.sh文件：

sudo nano /etc/profile.d/hadoop.sh

登录后复制

添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

登录后复制

使环境变量生效：

source /etc/profile.d/hadoop.sh

登录后复制

配置Hadoop核心文件:

hadoop-env.sh: 设置JAVA_HOME路径：

sudo nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

登录后复制

添加或修改以下行：

壁纸样机神器

免费壁纸样机生成

查看详情

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

登录后复制

core-site.xml: 配置默认文件系统：

sudo nano $HADOOP_HOME/etc/hadoop/core-site.xml

登录后复制

添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

登录后复制

hdfs-site.xml: 配置HDFS复制因子和数据目录：

sudo nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

登录后复制

添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/datanode</value>
  </property>
</configuration>

登录后复制

mapred-site.xml: 指定MapReduce框架为Yarn：

sudo nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

登录后复制

添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

登录后复制

yarn-site.xml: 配置Yarn辅助服务：

sudo nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

登录后复制

添加以下内容：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

登录后复制

第五步：格式化HDFS

在单机模式下格式化NameNode：

hdfs namenode -format

登录后复制

第六步：启动Hadoop集群

启动HDFS和YARN：

start-dfs.sh
start-yarn.sh

登录后复制

第七步：验证安装

检查HDFS状态:

hdfs dfsadmin -report

登录后复制

访问Web界面:

NameNode: http://<your_node_ip>:50070</your_node_ip>
ResourceManager: http://<your_node_ip>:8088</your_node_ip> (将<your_node_ip></your_node_ip>替换为您的服务器IP地址)

如果一切正常，您应该能够看到HDFS和YARN的Web界面。如有任何错误，请检查Hadoop日志文件(/opt/hadoop/logs)以查找问题原因。记住，这只是一个单节点的HDFS安装，对于多节点集群，需要进行更复杂的配置。

以上就是怎样在CentOS上安装HDFS的详细内容，更多请关注php中文网其它相关文章！