前期准备工作:
kafka的安装及使用需要用到ZooKeeper,所以需要提前安装搭建好ZooKeeper
ZooKeeper在Linux下载安装及部署:
Zookeeper在Linux下载安装及部署_学弟不想努力了-CSDN博客_zookeeper下载安装linuxhttps://blog.csdn.net/Eternal_Blue/article/details/94762494
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
kafka的安装及部署
一、官网下载 kafka.tgz 包
我这里安装的版本:kafka_2.12-2.2.0.tgz
Kafka官网下载地址:Apache Kafka
或下载地址: Index of /apache/kafka
二、将下载好的kafka_2.12-2.2.0.tgz包丢到服务器上任意一个你能找到的地方
三、在/usr路径下创建一个文件夹kafka
[root@ZhangJiakou ~]# mkdir /usr/local/kafka
四、解压压缩包到 /usr/kafka目录下
[root@ZhangJiakou ~]# tar -zxvf kafka_2.12-2.2.0.tgz -C /usr/local/kafka
五、在 /usr/local/kafka/kafka_2.12-2.2.0 新建一个文件夹 kafka-logs
[root@ZhangJiakou ~]# mkdir /usr/local/kafka/kafka_2.12-2.2.0/kafka-logs
六、修改kafka的配置文件
在kafka主目录下 bin/config 或 bin/config/kraft文件夹中找到 server.properties 并进行修改
[root@ZhangJiakou kafka_2.12-2.2.0]# vim bin/config/server.properties
注意:kafka在启动服务之前,在server.properties文件中要设定3个参数: broker.id、log.dirs、zookeeper.connect
broker.id=0log.dirs=/usr/local/kafka/kafka_2.12-2.2.0/kafka-logszookeeper.connect=localhost:2181delete.topic.enble=trueadvertised.listeners=PLAINTEXT://localhost:9092
delete.topic.enble=true :这段代码会对以后删除kafka中的topic有影响,这段代码在文件尾部添加上即可
listeners=PLAINTEXT://:9092 :这个命令也很重要,需要记住(这个命令在文章里先不做分析)
advertised.listeners=PLAINTEXT://自己的主机ip地址:9092:这个localhost我用的是主机ip地址
七、配置kafka环境变量,配置zookeeper 和 kafka的全局命令
方法一:修改 profile 文件 (我使用的该方法,也推荐用这一种,两钟区别需自行查阅相关资料)
[root@ZhangJiakou ~]# vim /etc/profile
直接在最下面添加下面这些配置
export KAFKA_HOME=/usr/local/kafka/kafka_2.12-2.2.0
export PATH=KAFKA_HOME/bin:$PATH
使配置生效
[root@ZhangJiakou ~]# source /etc/profile
方法二:修改 .bashrc 文件
输入命令修改环境变量
[root@ZhangJiakou ~]# vim ~/.bashrc
直接在最下面添加下面这些配置
export KAFKA_HOME=/usr/local/kafka/kafka_2.12-2.2.0
export PATH=KAFKA_HOME/bin:$PATH
使配置生效
[root@ZhangJiakou ~]# source ~/.bashrc
八、验证kafka是否已经生效
验证环境变量是否配置成功,
[root@ZhangJiakou ~]# echo $KAFKA_HOME
验证输入kafka- 后按teb键是否会自动补全
[root@ZhangJiakou ~]# kafka-
kafka的使用
一、启动 Zookeeper 服务,在 kafka 的根目录下使用命令
Kafka用到了Zookeeper,先开启zookeeper,再开启Kafka (依次开启)
下面用一个单实例的Zookkeeper服务,可以在命令结尾处加个&符号,这样就可以启动后离开控制台(进程守护),启动kafak命令同理
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/zookeeper-server-start.sh config/zookeeper.properties &
二、启动 kafka,在 kafka 的根目录下使用命令
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-server-start.sh config/server.properties &
三、创建一个 topic ,在 kafka 的根目录下使用命令
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1
四、查看 kafka 的 topic 情况,在 kafka 的根目录下使用命令
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-topics.sh --list --zookeeper localhost:2181
" --zookeeper localhost:2181"是什么意思?
--zookeeper: kafka连接zookeeper的url,和server.properties文件中的配置项 zookeeper.connect=localhost:2181 一致
五、描述 topic,查看topic的详细信息,在 kafka 的根目录下使用命令
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic topic1
六、生产消费
生产消息,生产者客户端命令,在 kafka 的根目录下使用命令
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic1
这里的 --broker-list localhost:9092 是
进入 生产消息的编辑模式,进行编辑并发送
>hello,world
>this is my kafka
消费消息,消费者客户端命令,在 kafka 的根目录下使用命令
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic1 --from-beginning
消费消息如下:
hello,world
this is my kafka
七、删除 topic,在 kafka 的根目录下使用命令
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic topic1
或者
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper 127.0.0.1:2181 --topic topic1
删除topic 补充 ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓
问题:
对 topic1 进行删除操作后,再次查看topic的时候,topic1 没有直接删除,而且后面出现了 “marked for deletion” ,只是将 topic1 标记了删除
解决:(通过查阅各种解决方案,整理了下面这种解决方案)
如果没有在kafka/config/server.properties配置:delete.topic.enable=true时,执行topic的删除命令只是把topic标记为marked for deletion,并不是真正的删除,如果此时想彻底删除,就需要登录zookeeper客户端进行删除
启动zookeeper客户端,在zookeeper根目录下使用命令:
[root@ZhangJiakou apache-zookeeper-3.5.5]# ./bin/zkCli.sh
找到topic所在的目录,在zookeeper客户端输入这个命令
ls /brokers/topics
删除需要彻底删除的 topic1,在zookeeper客户端输入这个命令
deleteall /brokers/topics/topic1
rmr 命令已经被废弃了,可以执行 deleteall 命令
可以再次查看确认一下,在zookeeper客户端输入这个命令
ls /brokers/topics
在 config/server.properties 中找到log.dirs,
删除log.dirs指定的文件目录,然后重新启动
八、通过下面命令验证,发现已经删除了。在 kafka 的根目录下使用命令
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-topics.sh --list --zookeeper localhost:2181
九、关闭服务
先关闭Kafka,在 kafka 的根目录下使用命令
[root@ZhangJiakou kafka_2.12-2.2.0]# ./bin/kafka-server-stop.sh
再关闭Zookeeper,在 Zookeeper 的根目录下使用命令
[root@ZhangJiakou apache-zookeeper-3.5.5]# ./bin/zkServer.sh stop
验证一下是否关闭
jps:查看当前运行的进程
jps -m:查看当前运行进程的详细信息
[root@ZhangJiakou ~]# jps
有问题,有错误及时提出来,共同进步~~
注意:在实际项目中使用,记住hostname需要配置
kafka的相关案例
如何轻松在SpringBoot中正确配置并运行Kafka?
如何轻松在SpringBoot中正确配置并运行Kafkahttps://blog.csdn.net/Eternal_Blue/article/details/125293622