kafka命令行操作(for Linux)

article/2025/4/20 0:47:07

kafka命令行操作主要分为三大类: 主题命令行操作、生产者命令行操作、消费者命令行操作。

注意: 命令行操作前提,启动kafka集群。

1. 主题命令行操作

1.1 查看主题命令行参数

a) 查询命令

[root@hadoop102 ~]# /opt/module/kafka/bin/kafka-topics.sh

b)参数列表

参数

描述

--bootstrap-server<String:server toconnect to>

连接的Kafka Broker主机名称和端口号

--topic<String:topic>

操作的topic名称

--create

创建主题

--delete

删除主题

--alter

修改主题

--list

查看所有主题

--describle

查看主题详细描述

--partitions<Integer:#of partitions>

设置分区数

--replication-factor<Integer:replication factor>

设置分区副本

--config<String:name=value>

更新系统默认的配置

1.2 查看当前主机的所有主题(topic)

# 防止kafka宕机可以使用两台
[root@hadoop102 ~]# /opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop102:9092,hadoop103:9092 --list# 测试一般使用一台即可
[root@hadoop102 ~]# /opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

报错问题:kafka没有启动

产生原因:

之前设置的zk的clientPort值不同导致kafka无法注册到zk上,启动后无法注册导致宕机。

解决:

zk集群的所有主机的配置文件中的配置项clientPort都要设置为一样的,zk的默认端口是2181,都设置为clientPort=2181(必须是相同的)

 还没有主题

 1.3 创建主题

a)创建一个first主题并指定分区为1,分区副本3份。

[root@hadoop102 ~]# /opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --topic first --create --partitions 1 --replication-factor 3 

 b)查看所有的主题

[root@hadoop102 ~]# /opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

 c)查看指定主题的详细信息

[root@hadoop102 ~]# /opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --topic first --describe

 1.4 修改分区数

注意: 分区数只能增加,不能减少

[root@hadoop102 ~]# /opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

查看当前分区详情

 发现分区数改变

1.5 删除主题

[root@hadoop102 ~]# /opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

2. 生产者与消费者命令操作

2.1 查看命令参数

1) 查看生产者命令参数

[root@hadoop102 kafka]# bin/kafka-console-producer.sh

参数

描述

--bootstrap-server <String: server toconnect to>

连接的 Kafka Broker 主机名称和端口号

--topic <String: topic>

操作的 topic 名称

 2)查看消费者命令参数

[root@hadoop102 kafka]# bin/kafka-console-consumer.sh

参数

描述

--bootstrap-server <String: server toconnect to>

连接的 Kafka Broker 主机名称和端口号

--topic <String: topic>

操作的 topic 名称

--from-beginning

从头开始消费

--group <String: consumer group id>

指定消费者组名称

2.2 发送消息与消费消息

使用hadoop102生产消息,hadoop103消费消息。

1)生产消息

一次只能发送一条,多发送会报错,等消费者消费完可以发送之后的消息。

[root@hadoop102 kafka]# bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first

开启后需要等待,等待消费者开启

2)消费消息

消费 first 主题中的数据

注意:新创建消费者无法消费之前的历史记录,只能消费生产者新产生的记录

[root@hadoop103 kafka]# bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

3) 测试

生产者发送一条消息

 这时消费者消费一条

4)查询消费者消费记录

把主题中所有的数据都读取出来(包括历史数据)

[root@hadoop102 kafka]# bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first


http://chatgpt.dhexx.cn/article/nnJs318Y.shtml

相关文章

【Kafka】kafka命令kafka-console-consumer.sh

文章目录 1.概述2.消息消费3.从开始位置消费4.显示key消费5.其他参数6.案例7.源码分析1.概述 转载:转载并且补充 kafka-console-consumer.sh 脚本是一个简易的消费者控制台。该 shell 脚本的功能通过调用 kafka.tools 包下的 ConsoleConsumer 类,并将提供的命令行参数全部传…

【Kafka】kafka命令 kafka-console-producer

文章目录 1.概述2.输入单挑数据3.批量导入数据3.无key型消息4.有key型消息1.概述 消费者:【Kafka】kafka命令kafka-console-consumer.sh kafka-console-producer 命令的常用参数如下 参数值类型说明有效值--bootstrap-serverString要连接的服务器必需(除非指定--broker-list…

kafka 命令、API

日萌社 人工智能AI&#xff1a;Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战&#xff08;不定时更新&#xff09; 大数据组件使用 总文章 kafka 生产/消费API、offset管理/原理、kafka命令kafka 命令、APIKafka 安装、原理、使用mapreduce 实时消费 kafka 数据…

kafka命令行使用

kafka使用 查看Kafka当前的主题列表创建一个主题查看主题信息修改分区信息删除一个主题生成者推送消息消费者接收查看分组信息查看特定consumer group 详情 基于Kafka 2.13版本的操作 查看Kafka当前的主题列表 ./kafka-topics.sh --zookeeper 127.0.0.1:2181 --list创建一个主…

简单的kafka命令行操作

目录 一、主题topic命令行操作 1.查看操作主题的命令参数 2.连接kafka地址&#xff0c;创建名为kaf的主题&#xff0c;指定分区和副本数量 3.查看所有主题的名称 4.查看主题的详细信息 5.修改主题&#xff08;修改分区数&#xff09; 二、生产者命令行操作 1.查看操作生…

【kafka】三、kafka命令行操作

kafka命令行操作 kafka的相关操作命令脚本文件在bin目录下 查看所有的topic kafka-topics.sh --zookeeper hll1:2181 --list 或 kafka-topics.sh --zookeeper 192.168.171.132:2181 --listkafka-topics.sh&#xff1a;topic执行脚本 --zookeeper hll1:2181&#xff1a;需要的…

Kafka的命令行操作

一、topic命令 下面Windows命令需要把cmd路径切换到bin/windows下。 而Linux命令只需要在控制台切换到bin目录下即可。 下面都以Windows下的操作为例&#xff0c;在Linux下也是一样的。 1.1 查看主题命令的参数 kafka-topics.bat # Windows kafka-topics.sh # Linux输…

Kafka 命令行操作

1&#xff09;查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper backup01:2181 使用命令 bin/kafka-topics.sh --list 报异常&#xff0c;提示必须依赖zookeeper 前面我们就讲过kafka是依赖于zookeeper 连上zookeeper什么都没有输出&#xff0c;因为我们什…

kafka命令行操作大全

最近利用flink使用一个流式SQL处理平台&#xff0c;利用kafka, mysql, hive等组件比较多&#xff0c;命令行突然间需要操作一次记不住命令很麻烦&#xff0c;索性直接整理成笔记。 在 0.9.0.0 之后的 Kafka&#xff0c;出现了几个新变动&#xff0c;一个是在 Server 端增加了…

Kafka命令大全

kafka 脚本 connect-distributed.sh connect-mirror-maker.sh connect-standalone.sh kafka-acls.sh kafka-broker-api-versions.sh kafka-configs.sh kafka-console-consumer.sh kafka-console-producer.sh kafka-consumer-groups.sh kafka-consumer-perf-test.sh kafka-dele…

Kafka常用命令行命令

文章目录 Kafka常用命令kafka的基本操作&#xff08;命令行操作&#xff09;1.启动集群&#xff1a;2.查看当前服务器中的所有topic&#xff08;在kafka目录下&#xff09;3.创建主题topic&#xff08;在kafka目录下&#xff09;4.删除topic&#xff08;在kafka目录下&#xff…

美国Stripe支付Android端集成流程

上家公司想要拓展自己在新加坡的市场,打算做一个新加坡本地的生活服务应用,其中少不了的就是支付了。国外支付这块一直是个头疼的问题。想用Google Wallet吧,但它是采用NFC接触式交易,想要进行线上服务时没法进行,后来就去整个贝宝PayPal支付。在这里想吐槽一下,PayPal支付做起…

zencart1.55手把手教你开发stripe支付插件

第一步&#xff1a;在includes/modules/payment目录下创建名称为c_stripe的文件夹&#xff0c;用于存放stripe支付logo 第二步&#xff1a;在同includes/modules/payment目录下创建c_stripe.php文件&#xff0c;这个文件就是用于编写zencart支付插件,代码如下 <?php // /…

JAVA接入STRIPE支付教程(测试环境),STRIPE支付的调用以及STRIPE WEBHOOK回调

一、环境准备 1.注册 2.密钥 3.WEBHOOK回调 二、核心代码 1.配置API.key以及webhook.key 2.支付demo 3.WEBHOOK回调 一、环境准备 1.注册 STRIPE官网自行注册账号 2.两个重要的密钥 首先在STRIPE官网注册账号之后进入首页&#xff0c;点击API密钥&#xff0c;查看账号对应的…

前端对接stripe支付,创建测试session_is

第一次搞 stripe支付&#xff0c;国外的文档全英文 接stripe支付&#xff0c;根据官方文档&#xff0c;首先就是先跟服务端交互&#xff0c;创建session会话&#xff0c;获取id&#xff0c;当服务端不做这个功能时&#xff0c;就需要前端去掉stripe最底层的api&#xff0c;拿到…

Stripe支付简介和前端js调用

最近公司正在做一个国际版APP&#xff0c;涉及到海外支付&#xff0c;调研过Paypal、Skrill、BrainTree、Stripe&#xff08;可参考海外移动支付方案对比&#xff09;&#xff0c;最终 选择了Stripe支付。Stripe特点如下&#xff1a; 收费规则简单透明&#xff0c;手续费就是收…

laravel 对接stripe支付

参考文档 &#xff1a; stripe文档 stripe/stripe-php stripe api 文档 目录 一 获取关键参数二 安装Stripe库三 代码示例 一 获取关键参数 SCRIPE_SECRET_KEY &#xff08;调用api秘钥&#xff09; NOTIFY_SIGN (签名 支付回调使用) 二 安装Stripe库 # Install the PHP libr…

Stripe支付配置

开通支付 首先&#xff0c;你需要在 Stripe 官网开通你自己的支付账号信息&#xff1a; https://stripe.com/ 注册好以后&#xff0c;你即可获取 Stripe 的密钥信息&#xff1a; 密钥主要包含两部分&#xff0c;可发布的密钥 密钥 同时&#xff0c;你需要找到你交易的对应的货…

php实现Stripe支付 | ecshop stripe支付

Stripe支付 &#xff1a;Stripe Login | Sign in to the Stripe Dashboard 1. 安装Stripe&#xff1a; composer require stripe/stripe-php 2. 获取密钥&#xff1a;https://dashboard.stripe.com/test/apikeys 3. 创建产品&#xff1a;Stripe Login | Sign in to the Stri…

php实现Stripe支付

Stripe支付 &#xff1a;https://dashboard.stripe.com/dashboard 1. 安装Stripe&#xff1a; composer require stripe/stripe-php 2. 获取密钥&#xff1a; https://dashboard.stripe.com/test/apikeys 3. 创建产品&#xff1a; https://dashboard.stripe.com/test/product…