【RPC】注册中心实现方案之ZooKeeper

article/2025/10/31 7:02:52

文章目录

  • ZooKeeper
    • 一致性协议:ZAB

ZooKeeper

ZooKeeper是一个开源的分布式协调服务,它可以用来协调和同步多服务器之间的状态。

ZooKeeper 可以作为微服务架构中注册中心的选型,它最需要被关心的也是数据模型和一致性协议。数据模型关乎服务信息在 ZooKeeper 服务中的存储结构,而一致性协议是注册中心服务状态一致性的保障。

首先介绍 ZooKeeper 的数据存储模型,它的数据存储模型就是一棵树的结构,树的一个节点就是 ZooKeeper 的一个数据节点 Znode,而数据的路径及它的命名规则与文件系统类似,由斜杠“/”分割每个层级。下图为 ZooKeeper 的数据存储模型示意图。
在这里插入图片描述

每个 Znode 节点包含三部分内容,分别是子节点的索引、与该节点关联的数据,以及描述该节点的节点属性信息。 其中描述该节点属性信息包括数据版本号、子节点的版本号、ACL的版本号、Znode创建的事务ID、节点创建时的时间戳和节点最新一次更新发生时的时间数等内容。而与该节点关联的数据,在服务注册的场景中,它就代表了服务的描述信息,注册的服务就存储在这里。每个 Znode 节点都有它自己的生命周期,根据生命周期的不同,以及是否排列同级的Znode节点的顺序,可以分为持久节点、持久顺序节点、临时节点和临时顺序节点:

  • 特久节点:Znode节点由客户端发起创建请求,在ZooKeeper服务端完成创建,一旦 Znode 节点被创建了,除非主动对 Znode 执行移除操作,否则这个 Znode 将一直保在ZooKeeper服务中,这种节点不会因为创建它的客户端与ZooKeeper服务端断连或者会话失效而被移除。
  • 持久顺序节点:在持久顺序节点的基础上每个父节点会为它的子节点(不包括孙子节点)维护每个子节点创建的先后顺序信息。可以在创建的节点名称后自动添加该节点在它所在层级的顺序序号,比如“node-2”。
  • 临时节点:Znode节点的生命周期和客户端会话绑定在一起,一旦创建该节点的客户端与服务端之间的会话失效,那么这个客户端创建的所有临时节点都会被ZooKeeper服务端移除
  • 临时顺序节点:在临时节点的基础上每个父节点会为它的子节点(不包括孙子节点)维护每个子节点创建的先后顺序信息

一致性协议:ZAB

在ZooKeeper集群中,如何保证集群内的各个ZooKeeper节点数据一致,是ZooKeeper的重点。ZooKeeper中的一致性协议叫做ZooKeeper Atomic Broadcast(原子消息广播协议),简称ZAB。ZAB规定了改变ZooKeeper服务器上的数据状态的事务请求的流程。

下面从ZAB中的角色、流程、两种模式,以及多服务器事务同步等方面展开介绍:

在ZAB中,ZooKeeper的服务节点可以被分为两类,分别是Leader节点和Follower节点,他们分别代表了ZAB的Leader和Follower两种角色。

  • Leader节点全局唯一,负责协调所要处理的事务,可以用作读或者写操作Leader节点选举会发生在以下三个场景下:
    • 集群初始化启动时。
    • Leader节点崩溃后。
    • 因网络等问题导致Leader节点与集群中超过一半的节点断连后。
  • Follower节点Leader节点的副本,一般用作读操作。 Follower节点中有一种特殊的节点叫做观察者节点,观察者节点不参与投票和选举,观察者节点增加了ZooKeeper的动态扩展能力。因为观察者节点不会影响ZooKeeper集群,它只会听取和执行投票结果,如果收到客户端的写请求,那么它会将写请求转发给Leader节点。除了观察者节点这种特殊的Follower节点,其余正常的Follower节点都会参与投票和选举。

Leader节点和Follower节点在面对客户端的请求时表现是不一样的。下面就是一个客户端发起写请求和读请求,ZooKeeper集群应对不同类型的请求的过程:

(1)ZooKeeper 客户端会随机连接ZooKeeper 集群中的一个节点,当客户端向连接的ZooKeeper 服务节点发起一个写请求,并且当前ZooKeeper服务节点是一个 Follower节点而不是Leader节点时,该节点就会把写请求转发给Leader节点,提交事务,Leader节点接收写请求后会广播该事务;如果是读请求,则直接从该Follower节点中读取数据。

(2)客户端事务请求到达Leader服务器后,Leader节点将该事务转化为一个提议,并将提议分发给集群中所有Follower节点,然后等待Follower节点的反馈。

(3)Follower服务节点如果正常,则会给予Leader节点正确的反馈。

(4)如果Leader服务器收到半数以上的Follower服务器的正确反馈,则Leader向集群中所有Follower服务器分发Commit消息,要求Follower服务器提交该事务。

以上是在各节点都正常的情况下处理请求的流程,从流程中可以看到,所有的写操作都由Leader节点控制,这种正常的执行流程也被称为消息广播模式

消息广播模式中提交事务使用的是原子广播协议类似于2PC (二阶段提交协议)。2PC事务处理过程中有中断逻辑,只要有参与者没有正确反馈,就会中断这次事务提交。但是在ZAB协议中,如果没有半数以上Follower服务器进行ACK反馈,那么就丢弃该Leader服务器,直接进入Leader服务器进行选举。如果收到半数以上的 Follower服务器反馈ACK,则开始提交事务,不需要像2PC一样等待所有Follower服务器反馈。这种模式的触发条件是Leader服务节点被选举,数据同步完成后,此时会切换到消息广播模式。

整个 ZooKeeper 集群除了有消息广播模式,还有另一种模式叫作崩溃恢复模式,整个ZooKeeper集群会在这两种模式中不断切换。

崩溃恢复模式用于解决Leader服务器单点问题,并且在集群恢复后解决数据不一致问题。它的触发条件是当Leader服务器出现异常后,ZooKeeper进入崩溃恢复模式,选举新的Leader服务器。 当Leader服务器出现异常后,ZAB需要一种 Leader选举算法来确保正确并且快速地选出Leader服务器,同时还要让其他机器能够快速感知选举产生的新Leader服务器。一个Leader服务节点需要获得过半节点的支持才能被选举为Leader 节点。

在ZAB协议中规定如果一个事务在一台机器上处理成功,那么就算有机器出现崩溃,这个事务也会被认为在所有机器上都处理成功了,这种现象会导致两种发据不一致的情况。

  • Leader节点收到一个事务,广播给所有的Follower节点,并且已经获得超过半数的ACK反馈,那么Leader节点会提交该事务,并且进入第二阶段,也就是将Commit消息发送给所有的Follower节点,但是在发送Commit消息之前Leader节点崩遗了。也就是只在Leader服务器上提交了事务,但在Follower服务器上并没有提交,这种情况下会导致数据不一致。
  • 为了解决上述情况,当进行Leader节点崩溃恢复操作时,ZAB需要确保弃那些只在Leader服务器上被提交的事务,也就是上述描述的事务。在Leader 节点崩溃恢复过程中,Leader节点已经重新选举,但是上述崩溃Leader节点重新恢复后加入ZooKeeper集群,作为一个Follower节点,携带了先前该节点提交的事务,并且该事务只有它有,而别的节点都没有。出现该情况时需要丢弃该事务,如果不丢弃该事务,则会导致该Follower节点与其他节点的数据不一致。

根据上述两种不一致情况,ZAB的Leader选举算法必须确保最新的事务已经被 Leader提交,并且跳过已经被丢弃的事务。为了保证这两点,选举的Leader节点必须具有最新的事务,也就是拥有机器最高编号(ZXID)的事务。因为这样可以保证新Leader具有所有已经提交的提案,也就不需要进行丢弃事务的工作。所以在选举Leader节点时,除了需要获得半数以上节点的同意,还需要拥有ZXID编号最高的事务。

从上述的两种模式可以看出,ZooKeeper也并不能保证线性一致性,它只能保证顺序一致性。 而在CAP模型中,ZooKeeper选择了分区容错性和一致性,牺牲了一定程度的可用性。比如在进行Leader选举时,整个ZooKeeper集群是不可用的。它并不像Eureka一样,每个节点都有写操作的能力。所以ZooKeeper在一定程度上牺牲了一部分的可用性。


http://chatgpt.dhexx.cn/article/aiIouCj8.shtml

相关文章

Linux 搭建zookpeer集群和配置

zookpeer和JDK1.8下载地址 下载地址:zookpeer和jdk1.8 提取码:w189 解压以及配置zookpeer tar -zxvf zookeeper-3.4.6.tar.gz tar -zxvf jdk-8u144-linux-x64.tar.gz 基本参数配置 参数描述clientPort主要定义客户端连接zookeeper server的端口&…

hadoop-zookeeper的详细介绍以及安装配置步骤

一、zookeeper的介绍 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、…

k8s-7: kafka+zookeeper的单节点与集群的持久化

之前在k8s环境中有这个需求&#xff0c;看了好多的文档&#xff0c;都有坑&#xff0c;踩了一边总结一下&#xff0c;需要的朋友可自取 一、单节点部署 建议开发环境使用&#xff0c;且此处采用动态挂载的&#xff0c;生产不建议 1、安装zk cat > zk.yaml <<EOF a…

Docker 安装Zookeeper

第一步&#xff1a;查看本地镜像和检索拉取Zookeeper 镜像 # 查看本地镜像 docker images # 检索ZooKeeper 镜像 docker search zookeeper # 拉取ZooKeeper镜像最新版本 docker pull zookeeper:latest [rootlocalhost ~]# docker images REPOSITORY TAG …

mac pro m1:搭建zookeeper集群并设置开机自启

0. 引言 之前我们讲解过搭建zookeeper单节点&#xff0c;但在实际生产中&#xff0c;为了保证服务高可用&#xff0c;通常我们是采用集群模式。所以本次我们来实操集群模式的搭建 1. zk集群模式 zk可以作为注册中心和配置中心&#xff0c;常用在微服务各类组件的多节点服务治…

一款实用的数据恢复软件—zook data recovery wizard

zook data recovery wizard是RecoveryTools下的一款子品牌&#xff0c;同时也是一款功能实用的数据恢复软件&#xff0c;该软件可以从Windows中恢复已删除&#xff0c;损坏&#xff0c;格式化和丢失的数据&#xff0c;能够支持从驱动器&#xff0c;SD卡&#xff0c;硬盘&#x…

zook 报错 Unable to read additional data from server sessionid 0x0

zook报错启动报错&#xff1a; 2017-09-25 18:33:46,913 - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread1183] - Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting r…

hadoop大数据集群搭设(hadoop+zook+HBase+hive)百分百成功

hadoop大数据集群搭设 前言所需软件虚拟机准备工作一、Jdk安装二、安装zookeeper三、HBase安装四、mysql安装配置五、安装hive 前言 经过长时间的测试总结出在目前集群搭建最稳定的步骤是&#xff1a; 至少我按这个过程基本0失误&#xff0c;且初始化次数最少。当然也可以尝试…

zookeeper客户端命令(三)

zookeeper客户端命令&#xff08;三&#xff09; 问题背景zookeeper分布式技术基本概念&#xff08;一&#xff09;zookeeper单机及集群部署&#xff0c;附安装包下载&#xff08;二&#xff09;zookeeper客户端命令&#xff08;三&#xff09; zook客户端指令节点创建测试集群…

Zookper集群搭建

&#x1f345;程序员小王的博客&#xff1a;程序员小王的博客 &#x1f345; 欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; &#x1f345; 如有编辑错误联系作者&#xff0c;如果有比较好的文章欢迎分享给我&#xff0c;我会取其精华去其糟粕 一、搭建zookper集群前的准备…

分布式系统服务框架Zookeeper介绍与原理实现

分布式数据管理之痛点 为了确保微服务之间松耦合&#xff0c;每个服务都有自己的数据库, 有的是关系型数据库&#xff08;SQL&#xff09;&#xff0c;有的是非关系型数据库&#xff08;NoSQL&#xff09;。 开发企业事务往往牵涉到多个服务&#xff0c;要想做到多个服务数据…

给视频加滚动字幕,给视频加字幕制作mv 录制的视频配背景音乐

给视频添加滚动字幕方法其实很简单&#xff0c;像我们下载的电影&#xff0c;歌曲&#xff0c;用手机录制的视频都可以加字幕&#xff0c;或者滚动字幕&#xff0c;也可以加背景音乐或其它声音&#xff0c;给视频开头或结尾加一张图片或多张图片等等都是可以实现的&#xff0c;…

手把手叫你制作一个精美的在线音乐播放器

最近项目中要增加一些特殊的功能&#xff0c;实现音乐的在线播放。虽说网上源码一大把&#xff0c;demo一大堆&#xff0c;但是能用的其实寥寥无几&#xff0c;看来关键时刻还是自己动手&#xff0c;丰衣足食啊。话不多说&#xff0c;直接看效果图吧&#xff1a; 看是不是很美观…

微信小程序中将图片与音乐制作成MV

最近一直在开发一个类似于小年糕的微信小程序&#xff0c;在开发制作MV功能时 &#xff0c;花费了一些心思&#xff0c;其间主要遇到了以下一些问题点&#xff1a; 1. 上传图片的动画效果如何像播放视频一样实现播放与暂停&#xff1f; 2. 用户上传的图片数量不确定&#xf…

FL Studio中文版21最新免费音乐编曲软件制作工具

FL Studio较为适合专业的音乐制作者&#xff0c;操作难度较大&#xff0c;学习门槛也较高&#xff1b;Studio One则主打一站式的音乐制作&#xff0c;从编曲到录音到后期的专辑制作都可以在其中实现&#xff0c;同时操作难度不大&#xff0c;对初学者和业余爱好者都较为友好。 …

mv

mv 移动文件或改名 mv 命令&#xff08;move 的缩写&#xff09;&#xff0c;既可以在不同的目录之间移动文件或目录&#xff0c;也可以对文件和目录进行重命名。 该命令的基本格式如下&#xff1a; [rootlocalhost ~]# mv 【选项】 源文件 目标文件“mv” 默认执行命令(mv -…

怎样做音乐相册怎样制作?手把手教你制作

大家平时出门游玩的时候&#xff0c;会拍摄一些好看的照片吗&#xff1f;那你们会将这些照片分享在社交平台上吗&#xff1f;普通的照片分享&#xff0c;有时会显得比较枯燥单调&#xff0c;其实我们可以将这些照片制作成音乐相册&#xff0c;这样就可以丰富照片的内容&#xf…

Audacity(电脑音频剪辑软件)官方中文版V3.0.2 | 完全免费的音乐制作软件audacity下载

Audacity 是一款专业易于使用且完全免费的音乐制作软件&#xff0c;高度可定制的界面能实时显示预览&#xff0c;具备多轨音频剪辑和音频录制功能&#xff0c;提供了数十种可修改或自己创建的插件以及无限的撤消和重做能力&#xff0c;能将磁带和唱片转换成数字唱片或 CD&#…

手把手教你批量制作MV连播视频

一、点击下载CR MVMixer解压到D盘 找到图标双击打开CR MVMixer 本软件授权注册码可以登陆酷软街获取 右下角点击注册&#xff0c;填入注册码激活。 软件操作页面&#xff0c;左侧是加载音乐MP3跟LRC歌词的 右侧可以添加视频素材&#xff0c;设置封面。 二、加载素材&#xf…

MV制作器UI版来噜

一、项目介绍 MV制作器UI版来噜 在之前的制作MV的项目中&#xff0c;我们使用代码来调用文心大模型API&#xff0c;批量的获取图片&#xff0c;然后我们需要使用专业德视频剪辑工具譬如pr或剪映等完成后续的步骤&#xff0c;但并不是所有人都会使用剪辑软件… 那有没有什么可…