Kafka集群搭建-Windows系列-PHP中文网

Kafka集群搭建

絕刀狂花

发布： 2025-05-13 13:10:21

原创

719人浏览过

环境准备

我使用的是CentOS-6.7版本的3个虚拟机，主机名为hadoop01、hadoop02、hadoop03。这3台虚拟机既是Zookeeper集群，又是Kafka集群（但在生产环境中，这两个集群通常会部署在不同的机架上）。我将使用hadoop用户来搭建集群（在生产环境中，root用户通常不被允许随意使用）。关于虚拟机的安装，可以参考以下两篇文章：在Windows中安装一台Linux虚拟机，以及通过已有的虚拟机克隆四台虚拟机。Zookeeper集群参考zookeeper-3.4.10的安装配置。Kafka安装包的下载地址为：https://www.php.cn/link/90797bef9ef6175e04f3c9383568f9e4。

将Kafka安装包上传到服务器并解压

[hadoop@hadoop01 ~]$ tar -zxvf /opt/soft/kafka_2.11-0.10.2.1.tgz -C /opt/apps/

登录后复制

进入Kafka的config目录下，修改server.properties文件

[hadoop@hadoop01 ~]$ cd /opt/apps/kafka_2.11-0.10.2.1/config/
[hadoop@hadoop01 config]$ vim server.properties
broker.id=1
host.name=192.168.42.101
log.dirs=/opt/data/kafka
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

登录后复制

说明：

只需修改上述列出的4个配置，其余保持默认。host.name这个配置在原文件中不存在，需要手动添加，建议使用IP地址而不是主机名。这个配置在Kafka单节点或伪分布式集群中不需要设置。broker.id在每个节点上必须唯一，我设置hadoop01的broker.id=1，hadoop02的broker.id=2，hadoop03的broker.id=3。log.dirs指定Kafka数据的存储位置，默认的tmp目录会定期清空，因此需要修改，并且在启动Kafka集群前需要创建指定的目录。zookeeper.connect如果不指定，将使用Kafka自带的Zookeeper。

分发安装包

[hadoop@hadoop01 apps]$ scp -r kafka_2.11-0.10.2.1 hadoop03:`pwd`

登录后复制

分别修改hadoop02和hadoop03的broker.id和host.name
在每个节点下创建log.dirs指定的目录
启动Zookeeper服务

[hadoop@hadoop01 ~]$ zkServer.sh start
[hadoop@hadoop02 ~]$ zkServer.sh start
[hadoop@hadoop03 ~]$ zkServer.sh start

登录后复制

在3个节点上都启动Kafka

[hadoop@hadoop01 kafka_2.11-0.10.2.1]$ bin/kafka-server-start.sh -daemon config/server.properties
[hadoop@hadoop02 kafka_2.11-0.10.2.1]$ bin/kafka-server-start.sh -daemon config/server.properties
[hadoop@hadoop03 kafka_2.11-0.10.2.1]$ bin/kafka-server-start.sh -daemon config/server.properties
# -daemon选项的意思是后台启动服务

登录后复制

验证Kafka服务是否启动

Kafka集群搭建

测试Kafka集群

(1) 在任意节点上创建"test01"这个topic

[hadoop@hadoop01 kafka_2.11-0.10.2.1]$ bin/kafka-topics.sh \
--create \
--zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 \
--replication-factor 1 \
--partitions 1 \
--topic test01

登录后复制

(2) 在hadoop01上开启kafka-console-producer，向test01这个topic中写入数据

[hadoop@hadoop01 kafka_2.11-0.10.2.1]$ bin/kafka-console-producer.sh --broker-list hadoop01:9092,hadoop02:9092,hadoop03:9092 \
--topic test01

登录后复制

(3) 在另一台节点上开启kafka-console-consumer，将hadoop01节点接收到的数据打印出来

[hadoop@hadoop02 kafka_2.11-0.10.2.1]$ bin/kafka-console-consumer.sh \
--zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 \
--topic test01 \
--from-beginning

登录后复制

Kafka集群搭建

Kafka集群搭建成功！

以上就是Kafka集群搭建的详细内容，更多请关注php中文网其它相关文章！