windows下安装kafka

article/2025/9/23 2:01:22

一.下载

kafka官网下载地址:http://kafka.apache.org/downloads.html,下载二进制的.

二.安装

1.安装zookeeper

windows环境下安装zookeeper(单机版)

安装并启动后的界面:

2.安装kafka

我下载的kafka_2.13-2.8.0.tgz,并解压到D:\Tools\kafka_2.13-2.8.0目录下

  •  编辑文件Kafka配置文件, D:\Tools\kafka_2.13-2.8.0\config\server.properties
  •  找到并编辑log.dirs=D:\\Tools\\kafka_2.13-2.8.0\\kafka-logs, (自定义文件夹)
  •  找到并编辑zookeeper.connect=localhost:2181。表示本地运行(默认的可以不改)
  •  Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。
     

三.启动Kafka服务器


1.进入Kafka安装目录,新建cmd窗口:cd D:\Tools\kafka_2.13-2.8.0,输入命令
 

.\bin\windows\kafka-server-start.bat .\config\server.properties

或者进入D:\Tools\kafka_2.13-2.8.0\bin\windows目录下执行

kafka-server-start.bat ..\..\config\server.properties

或者填写绝对路径

D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat D:\Tools\kafka_2.13-2.8.0\config\server.properties

注意:不要关了这个窗口,启用Kafka前请确保ZooKeeper实例已经准备好并开始运行

四.测试

kafka专业术语介绍:Kafka的简介

1.创建主题

新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令,创建一个叫topic001的主题

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic001

可以关掉这个窗口

2.创建生产者

新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令

kafka-console-producer.bat --broker-list localhost:9092 --topic topic001

3.创建消费者

新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic001 --from-beginning

4.生产消息并消费

 

5.其他命令

新建cmd窗口,cd D:\Tools\kafka_2.13-2.8.0\bin\windows

1.列出主题:kafka-topics.bat –list –zookeeper localhost:2181 
2.描述主题:kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name] 


 

 

 

6.操作日志的处理


kafka启动后,如果你去查看kafka所在的根目录,或者是kafka本身的目录,会发现已经默认生成一堆操作日志(这样看起来真心很乱):

而且会不断生成不同时间戳的操作日志。刚开始不知所措,一番研究后,看了启动的脚本内容,发现启动的时候是会默认使用到这个log4j.properties文件中的配置,而在zoo.cfg是不会看到本身的启动会调用到这个,还以为只有那一个日志路径:

在这里配置一下就可以了,找到config下的log4j.properties:

将路径更改下即可,这样就可以归档在一个文件夹下边了,路径根据自己喜好定义:

另外如何消除不断生成日志的问题,就是同一天的不同时间会不停生成。

修改这里,还是在log4j.properties中:

本身都为trace,字面理解为会生成一堆跟踪日志,将其改为INFO即可。

 

 

五.将kafka安装成windows的服务

nssm是一款windows 服务安装工具,简单方便, windows service wrapper 也是一个类似的工具,但是需要进行配置文件编写

下载的地址:http://nssm.cc/release/nssm-2.24.zip

1、将软件解压到D:\Tools\nssm-2.24,cmd进入D:\Tools\nssm-2.24\win64
2、输入命令.\nssm install 会弹出一个nssm service installer
3、application path :D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat
4、startup directory : D:\Tools\kafka_2.13-2.8.0\bin\windows 上面选择后会自动选择出来
5、Arguments: D:\Tools\kafka_2.13-2.8.0\config\server.properties
6、然后记得写服务名称kafka就行了

 

6.kafka管理界面

kafka-manager 由 yahoo 公司开发,该工具可以方便查看集群 主题分布情况,同时支持对 多个集群的管理、分区平衡以及创建主题等操作。不过雅虎已经将其更名为CMAK(Cluster Manager for Apache Kafka)。下载地址:https://github.com/yahoo/CMAK/releases,目前最新版是3.0.05,Attached release asset was compiled with java 11.

如果你所部署的kafka集群不支持最新CMAK的要求,可以下载1.x版本试试。

 

网上很多方法是需要sbt构筑编译的,还需要翻墙或配置文件使用镜像,如果你是用于个人研究学习,这里我给了kafka-manager-1.3.3.17下载包,是编译过的,可以直接使用,也可以自己上网找最新的编译过的kafka-manager

百度云盘链接:https://pan.baidu.com/s/109CMP8u25ey7BOIIcikDZg 
提取码:cgfy 

解压到想要放到的目录,找到其中的conf目录,打开 application.conf文件,修改其中的配置信息(这里主要是连接你的zookeeper服务的端口)

kafka-manager.zkhosts="localhost:2181"
其他详细的配置信息参考官方文档:https://github.com/yahoo/kafka-manager

启动后浏览器访问localhost:9000,出现如下管理界面.

退出的时候ctrl+c,会提示你是否终止

CMAK管理工具支持的范围
支持 Kafka 0.8以上版本
Java 11+
zookeeper必须是3.5+版本。

 

修改配置

进入cmak-3.0.0.5/conf,修改配置文件application.conf
用上面的命令编辑打开文件,将下面的两个配置项配置成你实际的kafka集群对应的zookeeper地址。

kafka-manager.zkhosts="kafka-manager-zookeeper:2181"cmak.zkhosts="kafka-manager-zookeeper:2181"

启动服务
默认使用9000端口,如果端口占用,可以通过参数指定端口。

$ bin/cmak -Dconfig.file=conf/application.conf  -Dhttp.port=9001

 

 

 

 

 

 

 

参考博文:

https://www.cnblogs.com/coloz/p/10487679.html

https://blog.csdn.net/weixin_38004638/article/details/91893910

https://blog.csdn.net/qq_30261081/article/details/108057968

https://www.cnblogs.com/bayu/articles/14467738.html

https://blog.csdn.net/weixin_39928940/article/details/110802072

https://blog.csdn.net/chaoxiao1231/article/details/82900606

 

 

 

 

 

 

 

 

 


http://chatgpt.dhexx.cn/article/eOvXkNCq.shtml

相关文章

kafka tool下载安装和使用

一、下载安装 下载连接:https://www.kafkatool.com/download.html kafka tool官网介绍 Kafka工具是用于管理和使用Apache Kafka集群的GUI应用程序。 它提供了一种直观的UI,可让用户快速查看Kafka集群中的对象以及集群主题中存储的消息。 它包含面向开发…

[kafka] windows下安装kafka(含安装包)

[kafka] windows下安装kafka(含安装包) 目录 前言 一、下载kafka安装包 1)下载安装包 2)解压安装包 二、运行zookeeper 1.运行zookeeper(因为kafka必须要和zookeeper一起运行) 三、运行kafka 四、使用fafka…

1.Kafka下载安装

原文:kafka下载安装 一、安装jdk 参见:Linux环境下安装jdk1.8(安装包版) 二、安装kafka kafka安装包 链接:https://pan.baidu.com/s/1hy8XONH75fU-Djb_GBC-GA?pwdnmrs 提取码:nmrs1.解压kafka &…

Kafka在Linux下载安装及部署

前期准备工作: kafka的安装及使用需要用到ZooKeeper,所以需要提前安装搭建好ZooKeeper ZooKeeper在Linux下载安装及部署: Zookeeper在Linux下载安装及部署_学弟不想努力了-CSDN博客_zookeeper下载安装linuxhttps://blog.csdn.net/Eternal_Bl…

Kafka的常用命令(包括:下载安装、后台启动)

一、环境准备 首先JDK要在1.8及以上;然后安装对应版本的zookeeper。 本文以kafka2.7.2为例,关于如何找到kafka对应的zookeeper版本,参考我的这篇文章:如何确定kafka与zookeeper版本的对应关系。 1、安装Zookeeper3.5.9 Zookeep…

Kafka在windows下下载、启动、测试详细教程

目录 下载地址 启动 启动zookeeper 启动kafka 队列操作 创建消息队列名 删除消息队列名 查看所有的队列 测试 生产测试 消费测试 下载地址 Apache KafkaApache Kafka: A Distributed Streaming Platform.https://kafka.apache.org/downloadswindows下kafka3.0版本的…

kafka 下载安装

文章目录 第一章 kafka概述一、定义二、消息队列1、传统消息队列2、消息队列的两种模式(1)点对点模式(2)发布/订阅模式 三、kafka基础架构 第二章 Kafka安装一、安装部署1、集群规划 二、集群部署1、下载地址(1&#x…

kafka下载与安装教程

Kafka下载安装教程 1.定义2.特性3.使用场景4.1.下载jar包4.2.解压到指定的文件夹4.3.修改配置文件4.4.启动kafka内置的zookeeper4.5.启动kafka服务4.6.创建一个名为 test1 的tiopic的测试主体 kafka4.7.创建生产消息的生产者4.8.创建消息消费者接收消息 1.定义 Kafka传统定义&…

CSRF(跨站请求伪造)原理

什么是CSRF? (Cross Site Request Forgery, 跨站域请求伪造)是一种网络的攻击方式,它在 2007 年曾被列为互联网 20 大安全隐患之一,也被称为“One Click Attack”或者Session Riding,通常缩写为CSRF或者XSRF&#xff…

Spring Security跨站请求伪造(CSRF)

CSRF(Cross Site Request Forgery) 跨站点请求伪造。是攻击者欺骗用户的浏览器去访问一个自己曾经认证过的网站。由于浏览器曾经认证过,所以被访问的网站会认为是真正的用户操作而去运行。这利用了 web 中用户身份验证的一个漏洞&#xff1a…

解决Csrf跨站请求伪造

Csrf跨站请求伪造原理: 1. 用户C打开浏览器,访问受信任网站A,输入用户名和密码请求登录网站A;2.在用户信息通过验证后,网站A产生Cookie信息并返回给浏览器,此时用户登录网站A成功,可以正常发送请…

web渗透测试----14、CSRF(跨站请求伪造攻击)

文章目录 一、CSRF概述二、CSRF攻击条件1、相关操作2、基于Cookie的会话处理3、没有不可预测的请求参数 三、CSRF的防御1、验证请求的Referer值2、CSRF Token3、验证码等验证业务过程的方式 四、基于Token的CSRF1、CSRF令牌的验证取决于请求方法2、CSRF令牌的验证取决于令牌是否…

跨站请求伪造漏洞

首先说明一下什么是CSRF(Cross Site Request Forgery)? 跨站请求伪造是指攻击者可以在第三方站点制造HTTP请求并以用户在目标站点的登录态发送到目标站点,而目标站点未校验请求来源使第三方成功伪造请求。 为什么会有CSRF? JS控制浏览器发送请求的时…

DVWA---跨站请求伪造CSRF

CSRF,全称Cross-site request forgery,翻译过来就是跨站请求伪造,是指利用受害者尚未失效的身份认证信息(cookie、会话等),诱骗其点击恶意链接或者访问包含攻击代码的页面,在受害人不知情的情况…

CSRF 跨站请求伪造攻击

1.概念 全称是CSRF 跨站请求伪造攻击,攻击者利用用户已登陆的账号,诱导用户访问已构造好的恶意链接或页面,在用户不之情的情况下,做一些违反用户本意的一些违法操作。 同源策略:协议相同,域名相同&#xf…

CSRF-跨站请求伪造的原理与修复方式

CSRF: Cross site Request Forgery 跨站请求伪造 原理: 利用xss方式注入一段脚本,通过伪装来自受信任用户的请求来利用受信任的网站,当受害者在浏览器中运行该脚本时,脚本仿冒受害者,向合法的web系统发送一个请求&…

web基础漏洞之CSRF(跨站请求伪造漏洞)

cookie session token 我觉得在开始学习CSRF之前应该先学会区分这三种东西:cookie session token cookie: Cookie,有时也用其复数形式 Cookies。类型为“小型文本文件”,是某些网站为了辨别用户身份,进行Session跟踪而储存在用户…

Laravel框架之CSRF跨站请求伪造

一、CSRF攻击 1、什么是CSRF攻击 CSRF是跨站请求伪造(Cross-site request forgery)的英文缩写, 原理图示: csrf在laravel框架中的使用,就是在客户端form表单中设置一个_token表单域 同时把该表单域的值记录给sessi…

什么是CSRF(跨站请求伪造)?

文章目录 1. CSRF是什么?1.1 CSRF攻击细节CSRF攻击原理及过程如下: 2. CSRF漏洞检测3. 防御CSRF攻击:3.1 验证 HTTP Referer 字段3.1.1 优点:3.1.2 缺点: 3.2 在请求地址中添加 token 并验证3.3 在 HTTP 头中自定义属性并验证 1. …

WordPress 跨站请求伪造漏洞

WordPress 跨站请求伪造漏洞 漏洞ID2500593漏洞类型跨站请求伪造发布时间2021-07-08更新时间2021-07-09 CVE编号CVE-2021-20781 CNNVD-IDCNNVD-202107-420漏洞平台N/ACVSS评分N/A 漏洞简介 WordPress是Wordpress基金会的一套使用PHP语言开发的博客平台。该平台支持在PHP和My…