Kafka下载安装教程
- 1.定义
- 2.特性
- 3.使用场景
- 4.1.下载jar包
- 4.2.解压到指定的文件夹
- 4.3.修改配置文件
- 4.4.启动kafka内置的zookeeper
- 4.5.启动kafka服务
- 4.6.创建一个名为 test1 的tiopic的测试主体 kafka
- 4.7.创建生产消息的生产者
- 4.8.创建消息消费者接收消息
1.定义
Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。
Kafka最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
2.特性
- 高吞吐量
- 页缓存
- 追加写入
- 零拷贝
- 高可靠性
- 消息持久化，副本机制
- 解耦消息生产和消息消费
- 消息重演
- 高可用性
- 负载均衡
- 故障转移
- 高伸缩性
- 集群状态交由ZooKeeper管理
3.使用场景
- 消息投递
- 能够很好的代替传统的message broker。它提供了更强大的吞吐量，内建分区，复本，容错等机制来解决大规模消息处理型应用程序
- 日志收集
- 一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer
- 运营指标
- kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告
- 流式处理
- 比如spark streaming和storm
4.1.下载jar包
链接: https://kafka.apache.org/downloads.html.
4.2.解压到指定的文件夹
解压后进入到解压后文件夹的根目录中
创建两个文件夹，后续使用
4.3.修改配置文件
4.3.1.kafka_2.12-3.2.1\config\zookeeper.propertis
注意：文件分隔符是\\
4.3.2.kafka_2.12-3.2.1\config\server.properties
4.4.启动kafka内置的zookeeper
在根目录下打开cmd或者PowerShell输入命令
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
成功页面
页面不要关
4.5.启动kafka服务
在根目录下打开cmd或者PowerShell输入命令
.\bin\windows\kafka-server-start.bat .\config\server.properties
成功页面
页面不要关
4.6.创建一个名为 test1 的tiopic的测试主体 kafka
命令如下
.\bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic test3
成功页面
4.7.创建生产消息的生产者
命令如下
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test1
页面如下
页面不要关
4.8.创建消息消费者接收消息
命令如下
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test1 --from-beginning
页面如下
测试成功！！！
