Kafka 命令行操作

article/2025/4/20 0:53:30

1)查看当前服务器中的所有 topic 

bin/kafka-topics.sh --zookeeper backup01:2181

使用命令  bin/kafka-topics.sh --list  报异常,提示必须依赖zookeeper   前面我们就讲过kafka是依赖于zookeeper

连上zookeeper什么都没有输出,因为我们什么消息也没有,我们需要创建topic

bin/kafka-topics.sh --list --zookeeper backup01:2181

2)创建 topic 

bin/kafka-topics.sh --zookeeper backup01:2181 --create --replication-factor 3 --partitions 1 -topic first
选项说明: 
--topic 定义 topic 名 
--replication-factor  定义副本数 
--partitions  定义分区数 

再次查看

日志分析

backup01

buckup02

buckup03

我们看见之前建立和配置好的logs目录下面生成很多文件  其中有个first-1这个就是我们创建的主题,但是这个主题是主题名字和分区名字联合命名。

还有一个最重要的是就是我们后台启动看不见kafka的启动日志在这个server.log下面我们可以查询启动相关信息

3)删除 topic 

bin/kafka-topics.sh --zookeeper backup01:2181 --delete --topic first #需要 server.properties 中设置 delete.topic.enable=true 否则只是标记删除

那我们就设置一下

我们删除了之后重新建立一个first主题 一个分区一个副本

buckup01

buckup02

buckup03

我们发现一个分区一个副本就一个first-0

现在大家应该明白了什么是分区和副本

4)查看某个 Topic 的详情 

bin/kafka-topics.sh --zookeeper buckup01:2181 --describe --topic first 

上面只有一个分区一个副本,下面我们创建一个secend主题3个分区3个副本,查看下主题的详情

 

分区0有3个副本

分区1也有3个副本

分区2也有3个副本

我们在创建一个主题three  2个分区2个副本

 主题three    分区1的其中1个副本在buckup01机器上

主题three 分区0的其中1个副本被分配在buckup02机器上

主题three   分区0和分区1的另一个副本都在buckup03机器上 

讲了这么多估计没有不懂分区和副本了吧

注意有一点:副本数不能超过集群的机器数量

5)发送消息  向主题first发送消息(buckup01开启一个生产者)

 bin/kafka-console-producer.sh --brokerlist buckup01:9092 --topic first 
>hello world 
>atguigu  atguigu

6)消费消息 (backup03开启一个消费者)

 bin/kafka-console-consumer.sh \ --zookeeper buckup03:2181 --topic first 

总是报一个错误:zookeeper is not a recognized option

在新版本--zookeeper是一个过时的方法,此时,才知道原来在最新的版本中,这种启动方式已经被删除了,

最后附上0.90版本之后启动消费者的方法:

bin/kafka-console-consumer.sh --bootstrap-server backup03:9092 --topic first

在backup02在开启一个消费者,此时backup02这个机器是在发消息时候不在线,默认只能从最大开始,想要从头消费需要使用--from-beginning参数

 bin/kafka-console-consumer.sh --bootstrap-server backup02:9092 --topic first --from-beginning

我们在看下logs下目录  (主题__consumer_offsets   后面数字是分区  消费者默认50个分区) 

[root@backup02 kafka_2.12-2.4.1]# cd logs/
[root@backup02 logs]# ll
total 476
-rw-r--r--. 1 root root      4 Mar 29 16:31 cleaner-offset-checkpoint
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-0
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-12
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-15
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-18
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-21
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-24
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-27
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-3
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-30
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-33
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-36
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-39
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-42
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-45
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-48
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-6
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-9
-rw-r--r--. 1 root root  11302 Mar 29 15:56 controller.log
-rw-r--r--. 1 root root   7243 Mar 29 13:56 controller.log.2020-03-29-13
-rw-r--r--. 1 root root   3499 Mar 29 14:02 controller.log.2020-03-29-14
-rw-r--r--. 1 root root      0 Mar 29 13:46 kafka-authorizer.log
-rw-r--r--. 1 root root      0 Mar 29 13:46 kafka-request.log
-rw-r--r--. 1 root root  17309 Mar 29 17:37 kafkaServer-gc.log.0.current
-rw-r--r--. 1 root root 102388 Mar 29 17:36 kafkaServer.out
-rw-r--r--. 1 root root   1055 Mar 29 16:31 log-cleaner.log
-rw-r--r--. 1 root root    172 Mar 29 13:47 log-cleaner.log.2020-03-29-13
-rw-r--r--. 1 root root    550 Mar 29 14:02 log-cleaner.log.2020-03-29-14
-rw-r--r--. 1 root root    550 Mar 29 15:56 log-cleaner.log.2020-03-29-15
-rw-r--r--. 1 root root      4 Mar 29 17:38 log-start-offset-checkpoint
-rw-r--r--. 1 root root     88 Mar 29 15:56 meta.properties
-rw-r--r--. 1 root root    452 Mar 29 17:38 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root    452 Mar 29 17:39 replication-offset-checkpoint
drwxr-xr-x. 2 root root    141 Mar 29 16:42 secend-0
drwxr-xr-x. 2 root root    141 Mar 29 16:42 secend-1
drwxr-xr-x. 2 root root    141 Mar 29 16:42 secend-2
-rw-r--r--. 1 root root  41838 Mar 29 17:36 server.log
-rw-r--r--. 1 root root  31088 Mar 29 13:57 server.log.2020-03-29-13
-rw-r--r--. 1 root root  40824 Mar 29 14:52 server.log.2020-03-29-14
-rw-r--r--. 1 root root  53272 Mar 29 15:56 server.log.2020-03-29-15
-rw-r--r--. 1 root root  27236 Mar 29 16:56 server.log.2020-03-29-16
-rw-r--r--. 1 root root  36852 Mar 29 17:34 state-change.log
-rw-r--r--. 1 root root   1145 Mar 29 13:51 state-change.log.2020-03-29-13
-rw-r--r--. 1 root root  36058 Mar 29 15:56 state-change.log.2020-03-29-15
-rw-r--r--. 1 root root  16465 Mar 29 16:48 state-change.log.2020-03-29-16
drwxr-xr-x. 2 root root    141 Mar 29 16:48 three-0
[root@backup02 logs]# 

其他消费者分区

[root@backup03 kafka_2.12-2.4.1]# cd logs/
[root@backup03 logs]# ll
total 464
-rw-r--r--. 1 root root      4 Mar 29 16:31 cleaner-offset-checkpoint
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-1
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-10
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-13
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-16
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-19
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-22
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-25
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-28
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-31
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-34
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-37
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-4
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-40
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-43
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-46
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-49
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-7
-rw-r--r--. 1 root root   9685 Mar 29 15:56 controller.log
-rw-r--r--. 1 root root    578 Mar 29 13:51 controller.log.2020-03-29-13
-rw-r--r--. 1 root root   9382 Mar 29 14:03 controller.log.2020-03-29-14
-rw-r--r--. 1 root root      0 Mar 29 13:47 kafka-authorizer.log
-rw-r--r--. 1 root root      0 Mar 29 13:47 kafka-request.log
-rw-r--r--. 1 root root  17325 Mar 29 17:38 kafkaServer-gc.log.0.current
-rw-r--r--. 1 root root 100447 Mar 29 17:36 kafkaServer.out
-rw-r--r--. 1 root root    844 Mar 29 16:31 log-cleaner.log
-rw-r--r--. 1 root root    172 Mar 29 13:47 log-cleaner.log.2020-03-29-13
-rw-r--r--. 1 root root    550 Mar 29 14:03 log-cleaner.log.2020-03-29-14
-rw-r--r--. 1 root root    550 Mar 29 15:56 log-cleaner.log.2020-03-29-15
-rw-r--r--. 1 root root      4 Mar 29 17:43 log-start-offset-checkpoint
-rw-r--r--. 1 root root     88 Mar 29 15:56 meta.properties
-rw-r--r--. 1 root root    463 Mar 29 17:43 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root    463 Mar 29 17:43 replication-offset-checkpoint
drwxr-xr-x. 2 root root    141 Mar 29 16:42 secend-0
drwxr-xr-x. 2 root root    141 Mar 29 16:42 secend-1
drwxr-xr-x. 2 root root    141 Mar 29 16:42 secend-2
-rw-r--r--. 1 root root  41154 Mar 29 17:36 server.log
-rw-r--r--. 1 root root  31088 Mar 29 13:57 server.log.2020-03-29-13
-rw-r--r--. 1 root root  40823 Mar 29 14:53 server.log.2020-03-29-14
-rw-r--r--. 1 root root  45717 Mar 29 15:56 server.log.2020-03-29-15
-rw-r--r--. 1 root root  27398 Mar 29 16:56 server.log.2020-03-29-16
-rw-r--r--. 1 root root  36856 Mar 29 17:34 state-change.log
-rw-r--r--. 1 root root      0 Mar 29 13:47 state-change.log.2020-03-29-13
-rw-r--r--. 1 root root   1145 Mar 29 14:02 state-change.log.2020-03-29-14
-rw-r--r--. 1 root root  25329 Mar 29 15:56 state-change.log.2020-03-29-15
-rw-r--r--. 1 root root  17415 Mar 29 16:48 state-change.log.2020-03-29-16
drwxr-xr-x. 2 root root    141 Mar 29 16:48 three-0
drwxr-xr-x. 2 root root    141 Mar 29 16:48 three-1
[root@backup03 logs]# 
[root@backup01 kafka_2.12-2.4.1]# cd logs/
[root@backup01 logs]# ll
total 696
-rw-r--r--. 1 root root      4 Mar 29 16:31 cleaner-offset-checkpoint
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-11
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-14
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-17
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-2
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-20
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-23
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-26
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-29
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-32
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-35
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-38
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-41
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-44
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-47
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-5
drwxr-xr-x. 2 root root    141 Mar 29 17:34 __consumer_offsets-8
-rw-r--r--. 1 root root  22485 Mar 29 17:40 controller.log
-rw-r--r--. 1 root root  10857 Mar 29 13:51 controller.log.2020-03-29-13
-rw-r--r--. 1 root root  11117 Mar 29 14:58 controller.log.2020-03-29-14
-rw-r--r--. 1 root root  21665 Mar 29 15:56 controller.log.2020-03-29-15
-rw-r--r--. 1 root root  29350 Mar 29 16:55 controller.log.2020-03-29-16
drwxr-xr-x. 2 root root    141 Mar 29 16:32 first-0
-rw-r--r--. 1 root root      0 Mar 29 13:40 kafka-authorizer.log
-rw-r--r--. 1 root root      0 Mar 29 13:40 kafka-request.log
-rw-r--r--. 1 root root  18331 Mar 29 17:42 kafkaServer-gc.log.0.current
-rw-r--r--. 1 root root 104496 Mar 29 17:35 kafkaServer.out
-rw-r--r--. 1 root root    844 Mar 29 16:31 log-cleaner.log
-rw-r--r--. 1 root root    722 Mar 29 13:51 log-cleaner.log.2020-03-29-13
-rw-r--r--. 1 root root    550 Mar 29 15:55 log-cleaner.log.2020-03-29-15
-rw-r--r--. 1 root root      4 Mar 29 17:44 log-start-offset-checkpoint
-rw-r--r--. 1 root root     88 Mar 29 15:55 meta.properties
-rw-r--r--. 1 root root    439 Mar 29 17:44 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root    439 Mar 29 17:44 replication-offset-checkpoint
drwxr-xr-x. 2 root root    141 Mar 29 16:42 secend-0
drwxr-xr-x. 2 root root    141 Mar 29 16:42 secend-1
drwxr-xr-x. 2 root root    141 Mar 29 16:42 secend-2
-rw-r--r--. 1 root root  40958 Mar 29 17:35 server.log
-rw-r--r--. 1 root root  71236 Mar 29 13:51 server.log.2020-03-29-13
-rw-r--r--. 1 root root    942 Mar 29 14:51 server.log.2020-03-29-14
-rw-r--r--. 1 root root  47315 Mar 29 15:56 server.log.2020-03-29-15
-rw-r--r--. 1 root root  31355 Mar 29 16:55 server.log.2020-03-29-16
-rw-r--r--. 1 root root 116986 Mar 29 17:34 state-change.log
-rw-r--r--. 1 root root   1374 Mar 29 13:47 state-change.log.2020-03-29-13
-rw-r--r--. 1 root root   1145 Mar 29 14:03 state-change.log.2020-03-29-14
-rw-r--r--. 1 root root  42656 Mar 29 15:56 state-change.log.2020-03-29-15
-rw-r--r--. 1 root root  72145 Mar 29 16:48 state-change.log.2020-03-29-16
drwxr-xr-x. 2 root root    141 Mar 29 16:48 three-1

我们可以分析出 集群消费者分区几乎都是轮询的消费,说明分区就是一个负载均衡的作用

这个数据默认保存168小时  保留7天  7天自动清理

7)修改分区数 

bin/kafka-topics.sh --zookeeper backup01:2181 --alter --topic first --partitions 6 


http://chatgpt.dhexx.cn/article/rY0bwJSQ.shtml

相关文章

kafka命令行操作大全

最近利用flink使用一个流式SQL处理平台,利用kafka, mysql, hive等组件比较多,命令行突然间需要操作一次记不住命令很麻烦,索性直接整理成笔记。 在 0.9.0.0 之后的 Kafka,出现了几个新变动,一个是在 Server 端增加了…

Kafka命令大全

kafka 脚本 connect-distributed.sh connect-mirror-maker.sh connect-standalone.sh kafka-acls.sh kafka-broker-api-versions.sh kafka-configs.sh kafka-console-consumer.sh kafka-console-producer.sh kafka-consumer-groups.sh kafka-consumer-perf-test.sh kafka-dele…

Kafka常用命令行命令

文章目录 Kafka常用命令kafka的基本操作(命令行操作)1.启动集群:2.查看当前服务器中的所有topic(在kafka目录下)3.创建主题topic(在kafka目录下)4.删除topic(在kafka目录下&#xff…

美国Stripe支付Android端集成流程

上家公司想要拓展自己在新加坡的市场,打算做一个新加坡本地的生活服务应用,其中少不了的就是支付了。国外支付这块一直是个头疼的问题。想用Google Wallet吧,但它是采用NFC接触式交易,想要进行线上服务时没法进行,后来就去整个贝宝PayPal支付。在这里想吐槽一下,PayPal支付做起…

zencart1.55手把手教你开发stripe支付插件

第一步&#xff1a;在includes/modules/payment目录下创建名称为c_stripe的文件夹&#xff0c;用于存放stripe支付logo 第二步&#xff1a;在同includes/modules/payment目录下创建c_stripe.php文件&#xff0c;这个文件就是用于编写zencart支付插件,代码如下 <?php // /…

JAVA接入STRIPE支付教程(测试环境),STRIPE支付的调用以及STRIPE WEBHOOK回调

一、环境准备 1.注册 2.密钥 3.WEBHOOK回调 二、核心代码 1.配置API.key以及webhook.key 2.支付demo 3.WEBHOOK回调 一、环境准备 1.注册 STRIPE官网自行注册账号 2.两个重要的密钥 首先在STRIPE官网注册账号之后进入首页&#xff0c;点击API密钥&#xff0c;查看账号对应的…

前端对接stripe支付,创建测试session_is

第一次搞 stripe支付&#xff0c;国外的文档全英文 接stripe支付&#xff0c;根据官方文档&#xff0c;首先就是先跟服务端交互&#xff0c;创建session会话&#xff0c;获取id&#xff0c;当服务端不做这个功能时&#xff0c;就需要前端去掉stripe最底层的api&#xff0c;拿到…

Stripe支付简介和前端js调用

最近公司正在做一个国际版APP&#xff0c;涉及到海外支付&#xff0c;调研过Paypal、Skrill、BrainTree、Stripe&#xff08;可参考海外移动支付方案对比&#xff09;&#xff0c;最终 选择了Stripe支付。Stripe特点如下&#xff1a; 收费规则简单透明&#xff0c;手续费就是收…

laravel 对接stripe支付

参考文档 &#xff1a; stripe文档 stripe/stripe-php stripe api 文档 目录 一 获取关键参数二 安装Stripe库三 代码示例 一 获取关键参数 SCRIPE_SECRET_KEY &#xff08;调用api秘钥&#xff09; NOTIFY_SIGN (签名 支付回调使用) 二 安装Stripe库 # Install the PHP libr…

Stripe支付配置

开通支付 首先&#xff0c;你需要在 Stripe 官网开通你自己的支付账号信息&#xff1a; https://stripe.com/ 注册好以后&#xff0c;你即可获取 Stripe 的密钥信息&#xff1a; 密钥主要包含两部分&#xff0c;可发布的密钥 密钥 同时&#xff0c;你需要找到你交易的对应的货…

php实现Stripe支付 | ecshop stripe支付

Stripe支付 &#xff1a;Stripe Login | Sign in to the Stripe Dashboard 1. 安装Stripe&#xff1a; composer require stripe/stripe-php 2. 获取密钥&#xff1a;https://dashboard.stripe.com/test/apikeys 3. 创建产品&#xff1a;Stripe Login | Sign in to the Stri…

php实现Stripe支付

Stripe支付 &#xff1a;https://dashboard.stripe.com/dashboard 1. 安装Stripe&#xff1a; composer require stripe/stripe-php 2. 获取密钥&#xff1a; https://dashboard.stripe.com/test/apikeys 3. 创建产品&#xff1a; https://dashboard.stripe.com/test/product…

stripe 支付

stripe 支付整理 1、创建账号 官方网址 中文版 https://stripe.com/zh-cn-us/payments 2、激活你的账号 填写信息只支持国外与香港的哦 3、开发者秘钥 如果不激活的话&#xff0c;只能用测试api秘钥 4、配置你的回调地址 配置秘钥&#xff0c;选择webhook事件 事件一定要选择…

java 对接 stripe支付

stripe 支付跟国内的 支付宝 、微信、等第三方支付平台不一样 码字不易&#xff0c;开源更不易&#xff0c;点赞收藏关注&#xff0c;多多支持 开源地址 https://gitee.com/J-LJJ/stripe-demo 支付方式一 先看效果 支付方式2&#xff08;需要配合回调&#xff09; 2023-04…

Stripe支付流程简要描述

在国外&#xff0c;除了Paypal支付之外&#xff0c;Stripe支付也占有很大一部分市场份额&#xff0c;Stripe支付官网 https://stripe.com/ 下面简单介绍一下Stripe的支付流程。 1、用户页面输入充值金额&#xff0c;点击确定跳转到支付页面&#xff08;页面的样式由stripe提供…

stripe支付集成

最近公司要做一下Stripe支付的集成&#xff0c;浅浅地谈一下自己的一点理解 1、stripe是什么&#xff1f; stripe是第三方的支付平台&#xff0c;就像国内的支付宝、微信支付。。。 stripe官方文档&#xff1a;Developer tools | Stripe Documentation 关于stripe支付&…

初步认识 Stripe 支付

前言 这段时间在做支付相关的工作&#xff0c;由于业务主要是面向国外的用户&#xff0c;因而就接触了部分国外的支付支付相关的平台。接下来的内容主要是初步看了 Stripe 平台的文档所了解到的基本内容&#xff0c;后面会在使用的过程中不断地进行完善。 基本介绍和与其他支…

Stripe支付流程

近几天因为公司的项目中遇到了需要支持给国外本土支付提供支持&#xff0c;经过调研了市面上几款的产品后选择了stripe支付 由于资料比较少没有太多讨论&#xff0c;慢慢查看官方文档以下是我对官方文档梳理和对接过程中的一些经验和理解记录了下来 关于Stripe Stripe是一家提…

Stripe国际支付简介及API对接

文章目录 一、了解Stripe支付二、Stripe注册流程三、Stripe API 特点3.1 Apikey3.2 Idempotent Requests 幂等请求3.3 两种付款方式 四、Stripe 支付核心API4.1 Token4.2 Customer4.3 Card4.4 Source4.5 charge4.6 PaymentIntents4.7 PaymentMethod 五、完整Stripe支付代码 一、…

mingw(msys2)编译ffmpeg

mingw(msys2)编译ffmpeg 首先要确保pacman环境是最新的&#xff0c;否则会出现莫名其妙的问题&#xff0c;可以执行“pacman -Syu”更新包 安装mingw: pacman -S gcc mingw-w64-i686-toolchain yasm mingw-w64-i686-SDL2 //mingw32 pacman -S gcc mingw-w64-x86_64-toolchai…