kafka 命令行操作大全
- 一、集群相关常用命令
- 二、topic相关常用命令
- 2.1 脚本&参数简介
- 2.2 举例
- 三、生产者命令行常用操作
- 3.1 脚本&参数简介
- 3.2 举例发送消息
- 四、生产者命令行常用操作
- 4.1 脚本&参数简介
- 4.2 举例消费消息
这里主要讲命令行操作，如何安装网上太多资料，所以这里就不再赘述了。
一、集群相关常用命令
# 启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties &# 停止zookeeper
bin/zookeeper-server-stop.sh# 前台启动broker Ctrl + C 关闭
bin/kafka-server-start.sh <path>/server.properties# 后台启动broker
bin/kafka-server-start.sh -daemon <path>/server.properties# 关闭broker
bin/kafka-server-stop.sh
二、topic相关常用命令
2.1 脚本&参数简介
# 集群使用脚本
bin/kafka-topics.sh
| 参数 | 概述 |
|---|---|
| –bootstrap-server <String: server toconnect to> | 连接的Kafka Broker主机名称和端口号 |
| –topic <String: topic> | 操作的topic名称 |
| –create | 创建主题 |
| –delete | 删除主题 |
| –alter | 修改主题 |
| –list | 查看所有主题 |
| –describe | 查看主题详细描述。 |
| –partitions <Integer: # of partitions> | 设置分区数 |
| –replication-factor<Integer: replication factor> | 设置分区副本 |
| –config <String: name=value> | 更新系统默认的配置 |
增删改查qaq~
2.2 举例
我这里kafka配置了全局访问。实际找到对应安装目录的bin目录中去执行对应脚本！
1）查询服务器所有topic
kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --list
2）创建demo topic
kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --create --partitions 1 --replication-factor 2 --topic demo
执行后再执行查询命令，demo topic 已经存在。
3）查看demo主题的详情
kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --describe --topic demo
注解：有个简单了解，暂时无需深究！
segment.bytes：表示 Kafka中log日志是分成一块块存储的，此配置是指log日志划分 成块的大小，默认值1G。
Replicas：表示副本存在哪个机器上
Leader：主副本在哪台机器上
Isr: 维护的isr队列机器名，选举新主副本会使用
4）修改分区数（注意：分区数只能增加，不能减少）
kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --alter --topic demo --partitions 3
5）删除topic
kafka-topics --bootstrap-server Kafka-Broker主机名称:端口号 --delete --topic demo
三、生产者命令行常用操作
3.1 脚本&参数简介
# 使用脚本
kafka-console-producer.sh
| 参数 | 概述 |
|---|---|
| –bootstrap-server <String: server toconnect to> | 连接的Kafka Broker主机名称和端口号 |
| –topic <String: topic> | 操作的topic名称 |
3.2 举例发送消息
kafka-console-producer --bootstrap-server Kafka-Broker主机名称:端口号 --topic demo
四、生产者命令行常用操作
4.1 脚本&参数简介
# 使用脚本
kafka-console-consumer.sh
| 参数 | 概述 |
|---|---|
| –bootstrap-server <String: server toconnect to> | 连接的Kafka Broker主机名称和端口号 |
| –topic <String: topic> | 操作的topic名称 |
| —from-beginnin | 从头开始消费 |
| –group <String: consumer group id> | 指定消费者组名称 |
4.2 举例消费消息
1）消费demo 主题中的数据
kafka-console-consumer --bootstrap-server Kafka-Broker主机名称:端口号 --topic demo
1）消费demo 主题中的数据
kafka-console-consumer --bootstrap-server Kafka-Broker主机名称:端口号 --from-beginning --topic demo
