【实战】CentOS 搭建 Kafka 消息中间件

小渣渣

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

回顾：

.NET/C# 消息队列之 Kafka 操作[附源码]
https://www.itsvse.com/thread-9619-1-1.html

Kafka 配置 JMX 远程监控
https://www.itsvse.com/thread-9968-1-1.html

首先，我使用的是 CentOS 8 系统，Kafka 版本为：kafka_2.13-3.0.0。

下载解压命令如下：

登录可见。

配置 Kafka

进入到 /data/middleware/kafka_2.13-3.0.0/config 文件夹，修改 server.properties 文件，主要修改如下：

登录可见。

启动 Zookeeper 和 Kafka

启动命令

登录可见。

停止命令

登录可见。

将 Zookeeper 和 Kafka 注册成服务

进入到 /etc/systemd/system 文件夹

新建 zookeeper.service 服务文件，配置如下：

登录可见。

启动并设置开启启动

登录可见。

新建 kafka.service 服务文件，配置如下：

登录可见。

启动并设置开启启动

登录可见。

查看 zookeeper 和 kafka 服务状态，如下图：



Kafka 默认端口：9092，zookeeper 默认端口：2181，其中 19988 是 JMX 端口！

小渣渣

JMX  配置，Linux 环境也可以直接修改 kafka-server-start.sh 文件，如下：

登录可见。

飞鱼

学习学习。。。。。。