【kafka】三、kafka命令行操作

article/2025/4/20 0:33:01

kafka命令行操作

kafka的相关操作命令脚本文件在bin目录下

查看所有的topic
kafka-topics.sh --zookeeper hll1:2181 --list
或
kafka-topics.sh --zookeeper 192.168.171.132:2181 --list

image-20211227212521216

kafka-topics.sh:topic执行脚本

--zookeeper hll1:2181:需要的zookeeper,hll1为安装zookeeper集群服务器的主机名,2181为端口,也可以直接使用ip:port的方式

--list:列出所有topic


创建topic
kafka-topics.sh --zookeeper hll2:2181 --create --partitions 2 --replication-factor 2 --topic demo1

image-20211228203031528

--create:创建topic

--partitions:创建分区,后面数字代表创建几个分区

--replication-factor:创建副本,后面数字代表创建几个副本

--topic demo1:定义topic名为demo1

比如,当前命令创建2个分区,2个副本,按照之前的安装配置(kafka集群有三个服务),可以在/opt/kafka/logs目录下查看:

第一个kafka:生成了两个目录demo1-0demo1-1

解释下:demo1就是我们创建的topic名称,后面的-数字就是代表分区,-0、-1是 --partitions 2 表示创建了2个分区
在这里插入图片描述

第二个kafka:

在这里插入图片描述

第三个kafka:

image-20211228204037622

结合kafka集群来看,总共可以看到两个demo1-0,两个demo1-1,是因为我们刚刚的命令创建的是 --replication factor 2 表示创建2个副本

同样可以创建2个分区,3个副本

kafka-topics.sh --zookeeper hll2:2181 --create --partitions 2 --replication-factor 3 --topic demo2

查看记录:生成demo2两个分区,在三个kafka另外两个kafka集群都有副本

image-20211228204717220

注意:创建的副本数不能超过kafka集群可用的broker数量,不能会报错

image-20211228204955550


删除topic
kafka-topics.sh --zookeeper hll2:2181 --delete --topic demo3

--delete:删除topic

注意:需要 server.properties 中设置 delete.topic.enable=true 否则只是标记删除。

image-20211228205421610

执行完删除命令后,再去目录下查看,demo3的topic已经不存在了


生产消息
kafka-console-producer.sh --broker-list hll1:9092 --topic first

image-20211228224456356

窗口进入到阻塞状态,等待输入消息

kafka-console-producer.sh:生产消息脚本

--broker-list:指定生产者,这里的指定的kafka生产者为,hll1:9092

--topic first:往first主题生产消息


消费消息
kafka-console-consumer.sh --zookeeper hll2:2181 --topic first --from-beginning

在这里插入图片描述

这里提示需要使用bootstrap-server代替zookeeper,因为这里使用的kafka的版本比较旧,0.8之后版本zookeeper将会被移除了,

可以使用bootstrap-server方式消费:

kafka-console-consumer.sh --bootstrap-server hll1:9092 --topic first --from-beginning

image-20211228224828063

kafka-console-consumer.sh:消费者脚本

--zookeeper hll2:2181:zk集群服务

--topic first:消费的主题

--from-beginning:会把主题中以往所有的数据都读取出来

--bootstrap-server:0.8版本以后的kafka,不再 通过zk去管理数据消费,使用broker统一管理

hll1:9092:kafka服务,可以为kafka集群中的任意一台


查看topic
kafka-topics.sh --zookeeper hll2:2181 --describe --topic first

image-20211229203822691

--describe:查看详情

查询结果解释下:

第一行为结果总览:

Topic:first 为主题名称,PartitionCount:2说明有2个分区,ReplicationFactor:2说明有2个副本

后面的两行,每一行都是一个分区的信息,因为有2个分区,所以有2行,从结果中的第二、三行的Partition数据就可以看出来。

Leader 是在给出的所有partitons中负责读写的节点,每个节点都有可能成为leader。

Replicas 显示副本所存储节点的节点列表,不管该节点是否是leader或者是否存活。

Isr 副本都已同步的的节点集合,这个集合中的所有节点都是存活状态,并且跟leader同步。


修改分区数
kafka-topics.sh --zookeeper hll2:2181 --alter --topic first --partitions 3

执行成功后,再去查看主题first的分区,会看到有新的分区出现。

image-20211229205025102

注意:kafka只能新增分区,不能减少分区


http://chatgpt.dhexx.cn/article/J989Ky2c.shtml

相关文章

Kafka的命令行操作

一、topic命令 下面Windows命令需要把cmd路径切换到bin/windows下。 而Linux命令只需要在控制台切换到bin目录下即可。 下面都以Windows下的操作为例,在Linux下也是一样的。 1.1 查看主题命令的参数 kafka-topics.bat # Windows kafka-topics.sh # Linux输…

Kafka 命令行操作

1)查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper backup01:2181 使用命令 bin/kafka-topics.sh --list 报异常,提示必须依赖zookeeper 前面我们就讲过kafka是依赖于zookeeper 连上zookeeper什么都没有输出,因为我们什…

kafka命令行操作大全

最近利用flink使用一个流式SQL处理平台,利用kafka, mysql, hive等组件比较多,命令行突然间需要操作一次记不住命令很麻烦,索性直接整理成笔记。 在 0.9.0.0 之后的 Kafka,出现了几个新变动,一个是在 Server 端增加了…

Kafka命令大全

kafka 脚本 connect-distributed.sh connect-mirror-maker.sh connect-standalone.sh kafka-acls.sh kafka-broker-api-versions.sh kafka-configs.sh kafka-console-consumer.sh kafka-console-producer.sh kafka-consumer-groups.sh kafka-consumer-perf-test.sh kafka-dele…

Kafka常用命令行命令

文章目录 Kafka常用命令kafka的基本操作(命令行操作)1.启动集群:2.查看当前服务器中的所有topic(在kafka目录下)3.创建主题topic(在kafka目录下)4.删除topic(在kafka目录下&#xff…

美国Stripe支付Android端集成流程

上家公司想要拓展自己在新加坡的市场,打算做一个新加坡本地的生活服务应用,其中少不了的就是支付了。国外支付这块一直是个头疼的问题。想用Google Wallet吧,但它是采用NFC接触式交易,想要进行线上服务时没法进行,后来就去整个贝宝PayPal支付。在这里想吐槽一下,PayPal支付做起…

zencart1.55手把手教你开发stripe支付插件

第一步&#xff1a;在includes/modules/payment目录下创建名称为c_stripe的文件夹&#xff0c;用于存放stripe支付logo 第二步&#xff1a;在同includes/modules/payment目录下创建c_stripe.php文件&#xff0c;这个文件就是用于编写zencart支付插件,代码如下 <?php // /…

JAVA接入STRIPE支付教程(测试环境),STRIPE支付的调用以及STRIPE WEBHOOK回调

一、环境准备 1.注册 2.密钥 3.WEBHOOK回调 二、核心代码 1.配置API.key以及webhook.key 2.支付demo 3.WEBHOOK回调 一、环境准备 1.注册 STRIPE官网自行注册账号 2.两个重要的密钥 首先在STRIPE官网注册账号之后进入首页&#xff0c;点击API密钥&#xff0c;查看账号对应的…

前端对接stripe支付,创建测试session_is

第一次搞 stripe支付&#xff0c;国外的文档全英文 接stripe支付&#xff0c;根据官方文档&#xff0c;首先就是先跟服务端交互&#xff0c;创建session会话&#xff0c;获取id&#xff0c;当服务端不做这个功能时&#xff0c;就需要前端去掉stripe最底层的api&#xff0c;拿到…

Stripe支付简介和前端js调用

最近公司正在做一个国际版APP&#xff0c;涉及到海外支付&#xff0c;调研过Paypal、Skrill、BrainTree、Stripe&#xff08;可参考海外移动支付方案对比&#xff09;&#xff0c;最终 选择了Stripe支付。Stripe特点如下&#xff1a; 收费规则简单透明&#xff0c;手续费就是收…

laravel 对接stripe支付

参考文档 &#xff1a; stripe文档 stripe/stripe-php stripe api 文档 目录 一 获取关键参数二 安装Stripe库三 代码示例 一 获取关键参数 SCRIPE_SECRET_KEY &#xff08;调用api秘钥&#xff09; NOTIFY_SIGN (签名 支付回调使用) 二 安装Stripe库 # Install the PHP libr…

Stripe支付配置

开通支付 首先&#xff0c;你需要在 Stripe 官网开通你自己的支付账号信息&#xff1a; https://stripe.com/ 注册好以后&#xff0c;你即可获取 Stripe 的密钥信息&#xff1a; 密钥主要包含两部分&#xff0c;可发布的密钥 密钥 同时&#xff0c;你需要找到你交易的对应的货…

php实现Stripe支付 | ecshop stripe支付

Stripe支付 &#xff1a;Stripe Login | Sign in to the Stripe Dashboard 1. 安装Stripe&#xff1a; composer require stripe/stripe-php 2. 获取密钥&#xff1a;https://dashboard.stripe.com/test/apikeys 3. 创建产品&#xff1a;Stripe Login | Sign in to the Stri…

php实现Stripe支付

Stripe支付 &#xff1a;https://dashboard.stripe.com/dashboard 1. 安装Stripe&#xff1a; composer require stripe/stripe-php 2. 获取密钥&#xff1a; https://dashboard.stripe.com/test/apikeys 3. 创建产品&#xff1a; https://dashboard.stripe.com/test/product…

stripe 支付

stripe 支付整理 1、创建账号 官方网址 中文版 https://stripe.com/zh-cn-us/payments 2、激活你的账号 填写信息只支持国外与香港的哦 3、开发者秘钥 如果不激活的话&#xff0c;只能用测试api秘钥 4、配置你的回调地址 配置秘钥&#xff0c;选择webhook事件 事件一定要选择…

java 对接 stripe支付

stripe 支付跟国内的 支付宝 、微信、等第三方支付平台不一样 码字不易&#xff0c;开源更不易&#xff0c;点赞收藏关注&#xff0c;多多支持 开源地址 https://gitee.com/J-LJJ/stripe-demo 支付方式一 先看效果 支付方式2&#xff08;需要配合回调&#xff09; 2023-04…

Stripe支付流程简要描述

在国外&#xff0c;除了Paypal支付之外&#xff0c;Stripe支付也占有很大一部分市场份额&#xff0c;Stripe支付官网 https://stripe.com/ 下面简单介绍一下Stripe的支付流程。 1、用户页面输入充值金额&#xff0c;点击确定跳转到支付页面&#xff08;页面的样式由stripe提供…

stripe支付集成

最近公司要做一下Stripe支付的集成&#xff0c;浅浅地谈一下自己的一点理解 1、stripe是什么&#xff1f; stripe是第三方的支付平台&#xff0c;就像国内的支付宝、微信支付。。。 stripe官方文档&#xff1a;Developer tools | Stripe Documentation 关于stripe支付&…

初步认识 Stripe 支付

前言 这段时间在做支付相关的工作&#xff0c;由于业务主要是面向国外的用户&#xff0c;因而就接触了部分国外的支付支付相关的平台。接下来的内容主要是初步看了 Stripe 平台的文档所了解到的基本内容&#xff0c;后面会在使用的过程中不断地进行完善。 基本介绍和与其他支…

Stripe支付流程

近几天因为公司的项目中遇到了需要支持给国外本土支付提供支持&#xff0c;经过调研了市面上几款的产品后选择了stripe支付 由于资料比较少没有太多讨论&#xff0c;慢慢查看官方文档以下是我对官方文档梳理和对接过程中的一些经验和理解记录了下来 关于Stripe Stripe是一家提…