如何在CentOS上实现HDFS与YARN集成-CentOS-PHP中文网

如何在CentOS上实现HDFS与YARN集成

幻夢星雲

发布： 2025-06-25 08:22:31

原创

692人浏览过

在centos上整合hdfs（hadoop分布式文件系统）与yarn（资源调度器）通常需要遵循以下步骤：

第一步：安装Hadoop

首先，在CentOS中安装Hadoop。以下是基础安装流程：

下载Hadoop

<code>wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/</code>

登录后复制

设置环境变量

编辑/etc/profile.d/hadoop.sh文件，加入如下内容：

<code>export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin</code>

登录后复制

之后使配置生效：

<code>source /etc/profile.d/hadoop.sh</code>

登录后复制

配置Hadoop

修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，指定Java路径：

<code>export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk</code>

登录后复制

调整$HADOOP_HOME/etc/hadoop/core-site.xml文件，配置HDFS：

<code><configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration></code>

登录后复制

更新$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，设定HDFS副本数量等参数：

<code><configuration><property><name>dfs.replication</name><value>1</value></property></configuration></code>

登录后复制

编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，配置YARN：

<code><configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration></code>

登录后复制

修改$HADOOP_HOME/etc/hadoop/mapred-site.xml文件，配置MapReduce：

<code><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration></code>

登录后复制

第二步：格式化HDFS

初次启动HDFS前，需执行格式化操作：

集简云

软件集成平台，快速建立企业自动化与智能化

查看详情

<code>hdfs namenode -format</code>

登录后复制

第三步：启动Hadoop集群

开启HDFS和YARN服务：

<code>start-dfs.sh
start-yarn.sh</code>

登录后复制

第四步：确认集群状态

查看HDFS和YARN的状态：

<code>jps</code>

登录后复制

理想情况下，你将看到这些进程：

NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

第五步：浏览Web界面

利用浏览器访问HDFS和YARN的Web界面以确认集群运行状况：

第六步：运行简单MapReduce任务

可以执行以下命令运行一个基础的MapReduce任务来检测集成效果：

<code>hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output</code>

登录后复制

保证/input目录已存在且包含一些文本文件。

按照上述步骤，你应该能在CentOS上顺利完成HDFS与YARN的集成。如遇问题，可查阅日志文件获取详细信息。

以上就是如何在CentOS上实现HDFS与YARN集成的详细内容，更多请关注php中文网其它相关文章！

大家都在看：

CentOS权限管理如何实施_CentOS权限管理最佳实践 CentOS资源限制如何配置_CentOS资源限制设置方法 CentOS时间同步如何配置_CentOS时间同步设置方法 CentOS服务管理怎么操作_CentOS服务启动停止设置方法 CentOS容器编排如何配置_CentOS部署Kubernetes集群