Linux - Kafka集群搭建

article/2025/9/21 9:35:30

Linux - Kafka集群搭建

  • 准备&安装
  • 配置
  • 基本命令

以下操作环境均在Centos7服务器上面,一共三台服务器,11、12、13

准备&安装

官网下载Zookeeper,看准自己需要的版本,我自己这里就下载一个旧的版本使用了(2.11-2.0.0)
在这里插入图片描述
老样子,先将下载的kafka进行上传至11服务器,使用scp命令传至其他的机器上面

scp /upload/kafka_2.11-2.0.0.tgz node2:$PWD   # 传2号机,注意大写
scp /upload/kafka_2.11-2.0.0.tgz node3:$PWD   # 传3号机,注意大写
mkdir /usr/local/kafka    # 创建kafka文件夹
mv kafka_2.11-2.0.0.tgz /usr/local/kafka/   # 移动安装包到kafka文件夹
cd /usr/local/kafka/   # 进入到kafka文件夹中
tar -zxvf kafka_2.11-2.0.0.tgz   # 解压文件夹
rm -rf kafka_2.11-2.0.0.tgz   # 删除安装包
mkdir log   # 创建日志文件夹
cd kafka_2.11-2.0.0/config/   # 进入到配置文件夹
vim server.properties    # 修改配置文件

配置

下面为修改配置文件内的内容,可以使用vim的搜索功能搜索配置项修改参数,如果搜不到直接写配置项=参数

broker.id=1   # 此处的id必须每台机器上的配置的都不一样,我11号机配置1,12配置2,13配置3
log.dirs=/usr/local/kafka/log    # 配置日志地址,我自己的上面有创建,按照自己的
listeners=PLAINTEXT://192.168.1.11:9092   # kafka的监听地址与端口,同样每台机器都不一样,这个我11号机的IP,12的只用改成12号的IP,13同样,端口用9092
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181   # zk中存储了broker的元数据信息,此处配置zookeeper集群所有的IP,默认存储为根目录

配置环境变量 vim /etc/profile

export KAFKA=/usr/local/kafka/kafka_2.11-2.0.0
export PATH=$KAFKA/bin:$PATH

source /etc//profile 刷新环境变量(配不配都可以)

/usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-server-start.sh -daemon /usr/local/kafka/kafka_2.11-2.0.0/config/server.properties &   # 启动kafka
ps aux | grep kafka    # 查看kafka是否启动
cd /usr/local/kafka/kafka_2.11-2.0.0/  # 进入kafka文件夹

基本命令

下面时kafka的一些基本操作命令

bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 -partitions 2 --topic TestTopic # 创建一个有两个分区一个副本的topic
bin/kafka-topics.sh --describe --zookeeper node1:2181 --topic TestTopic   # 查看自己刚刚创建的topic
bin/kafka-topics.sh --list --zookeeper node1:2181     # 查看当前有哪些topic
bin/kafka-topics.sh --zookeeper node1:2181 --alter --partitions 4 --topic TestTopic  # 添加分区
bin/kafka-topics.sh --zookeeper node1:2181 --delete --topic TestTopic    # 删除topic
bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic TestTopic --from-beginning   # 打开consumer消费消息  --partition 指定分区消费
bin/kafka-console-producer.sh  --broker-list node1:9092 --topic TestTopic     # 打开producer生产消息

http://chatgpt.dhexx.cn/article/Rru4dTZN.shtml

相关文章

kafka集群搭建

1、先搭建zookeeper集群 2、kafka集群配置 1、zookeeper zookeeper安装与配置 (1)下载并解压 去下载Index of /apache/zookeeper 在node01 /opt/kafka/下 解压 tar -zxvf zookeeper-3.7.1.tar.gz 和apache-zookeeper-3.7.1-bin.tar.gz mv zookeeper…

kafka详解及集群环境搭建

一、kafka详解 安装包下载地址:https://download.csdn.net/download/weixin_45894220/87020758 1.1Kafka是什么? 1、Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目,该项目的目标是为处…

kafka集群搭建超详细教程

kafka集群搭建 前言详细步骤1、下载安装包2、解压3、创建存放kafka消息的目录4、修改配置文件5、分发kafka安装目录6、编写kafka集群操作脚本7、启动kafka集群8、测试创建主题查看主题列表启动控制台生产者启动控制台消费者 前言 大家好,我是风云,欢迎大…

Halcon编程实验-(4)车牌号数字+字母的识别【目的:OCR识别的应用】

程序流程 1.图像采集,确定车牌区域 2.图像矫正,截取车牌区域 3.车牌号码提取 4.车牌号识别 5.车牌号显示 本次实验重点知识:OCR识别的应用 环境 一张含有车牌号的清晰无遮挡照片 原图: 相关代码: dev_updat…

车牌自动识别

一个典型的汽车车牌自动识别系统,其基本处理流程如下图所示: 车牌定位: 从整个图像中准确地检测出车牌区域,是车牌识别过程的一个重要步骤,如果定位失败或定位不完整,会直接导致最终识别失败。车牌定位方法…

智能驾驶 车牌检测和识别(四)《Android实现车牌检测和识别(可实时车牌识别)》

智能驾驶 车牌检测和识别(四)《Android实现车牌检测和识别(可实时车牌识别)》 目录 智能驾驶 车牌检测和识别(四)《Android实现车牌检测和识别(可实时车牌识别)》 1. 前言 2. 车…

数字图像处理——车牌识别(matlab)

本次大报告利用MATLAB函数功能,设计和实现了一个车牌识别系统。车牌识别系统的基本原理为:将手机拍摄到的包含车辆牌照的图像输入到计算机中进行预处理,再对牌照进行搜索、检测、定位,并分割出包含牌照字符的矩形区域,…

车牌识别算法实现及其代码实现之一:车牌区域检测

本文地址:http://blog.csdn.net/shanglianlm/article/details/78005815 本文主要处理汽车车牌的识别过程,包括三个步骤,一:车牌区域检测,本文利用车牌的颜色和形状特征确认并获取汽车的车牌位置,二&#x…

基于OpenCV 的车牌识别

点击上方“小白学视觉”,选择加"星标"或“置顶” 重磅干货,第一时间送达 车牌识别是一种图像处理技术,用于识别不同车辆。这项技术被广泛用于各种安全检测中。现在让我一起基于OpenCV编写Python代码来完成这一任务。 车牌识别的相关…

车牌号识别 python + opencv

 包括算法和客户端界面,只有2个文件,surface.py是界面代码,predict.py是算法代码,界面不是重点所以用tkinter写得很简单。 使用方法: 版本:python3.4.4,opencv3.4和nu…

车牌识别 字符识别

字符结构知识在车牌识别中的应用 来源:电子技术应用 作者:中国科学技术大学 宋建才 摘要:提出了一种完全基于结构知识的字符识别方法。该方法以字符的结构特点和笔画类型、数据及位置作为识别特片生成判定时,再利用判定树对汽车牌…

【深度学习实践】基于深度学习的车牌识别(python,车牌检测+车牌识别)

车牌识别具有广泛的应用前景,基于传统方法的车牌识别效果一般比较差,随着计算机视觉技术的快速发展,深度学习的方法能够更好的完成车牌识别任务。 本文提供了车牌识别方案的部署链接,您可以在网页上体验该模型的效果:车…

C++中文车牌识别检测系统源码

下载地址:C中文车牌识别检测系统源码 其目标是成为一个简单、高效、准确的非限制场景(unconstrained situation)下的车牌识别库。 相比于其他的车牌识别系统,EasyPR有如下特点: 它基于openCV这个开源库。这意味着你可以获取全部源代码&…

车辆检测+车牌识别

车辆检测算法使用YOLOv5实现 自建数据集训练的车辆检测模型,效果还是很棒的 车牌识别使用mtcnn实现车牌检测 lprnet实现车牌号码识别 两者都是pytorch框架 整合在一个工程中实现车辆检测和车牌识别 同时使用pyqt开发可视化界面

智能驾驶 车牌检测和识别(一)《CCPD车牌数据集》

智能驾驶 车牌检测和识别(一)《CCPD车牌数据集》 目录 智能驾驶 车牌检测和识别(一)《CCPD车牌数据集》 1. 前言 2.车牌号码说明 3.车牌数据集CCPD (1)车牌数据集CCPD说明 (2&#xff09…

智能驾驶 车牌检测和识别(二)《YOLOv5实现车牌检测(含车牌检测数据集和训练代码)》

智能驾驶 车牌检测和识别(二)《YOLOv5实现车牌检测(含车牌检测数据集和训练代码)》 目录 智能驾驶 车牌检测和识别(二)《YOLOv5实现车牌检测(含车牌检测数据集和训练代码)》 1. 前…

在线合成车牌照片【模拟车牌,用于车牌识别项目测试】

1、服务发布地址: http://new.hdsxsc.com:10086/server.php?cphm冀DSX888&cpys0 2、传参说明: cphm:车牌号码【仅限合规的车牌号码规则】 cpys:车牌颜色: 0蓝色,1黄色,2白色&#xff0c…

车牌号码识别程序分享

本文参考博客使用opencv进行车牌提取及识别进行。程序部分为网上获取程序修改而来,并在其中加入了自己的注释和理解 采用pythonopencv进行程序编写。 课程设计内容分享 程序下载请前往https://download.csdn.net/download/chenkz123/10841956 一个典型的车辆牌照…

车牌图像识别

1.车牌预处理 车牌预处理过程的好坏直接影响到车牌图像进行后期处理过程,比如车牌字符分割等。车牌预处理也是尽可能的消除噪声,减少后期处理带来的不必要的麻烦。 输入的车牌是24Bit的BMP真彩色图像,车牌照有黄底黑字,蓝底白字…

基于python+OpenCV的车牌号码识别

基于pythonOpenCV的车牌号码识别 车牌识别行业已具备一定的市场规模,在电子警察、公路卡口、停车场、商业管理、汽修服务等领域已取得了部分应用。一个典型的车辆牌照识别系统一般包括以下4个部分:车辆图像获取、车牌定位、车牌字符分割和车牌字符识别 …