分布式和集群的架构套路总结

article/2025/9/1 16:15:29

本文成于2020年3月14日
参考:原文

文章目录

  • 分布式和集群名词解释
  • 使用分布式的心路历程
  • 常见的分布式集群架构
    • 1. 纯负载均衡形式(集群方向)
    • 2. 领导选举型(分布式方向)
    • 3. 区块链型(分布式方向)
    • 4. master-slaver型(分布式方向)
    • 5. 规则型一致性Hash

分布式和集群名词解释

  • 集群 指将多台服务器集中在一起,每台服务器都实现相同的业务,做相同的事情。但是每台服务器并不是缺一不可,存在的作用主要是缓解并发压力和单点故障转移问题。可以利用一些廉价的符合工业标准的硬件构造高性能的系统。实现:高扩展、高性能、低成本、高可用!
  • 分布式 就是将一个完整的系统,按照业务功能,拆分成一个个独立的子系统,在分布式结构中,每个子系统就被称为“服务”。这些子系统能够独立运行在web容器中,它们之间通过RPC方式通信。略等于微服务,微服务是更细的设计。

使用分布式的心路历程

  • 大多数的开发者大多数的系统可能从来没接触过分布式系统,也根本没必要进行分布式系统架构,为什么?因为在访问量或者QPS没有达到单台机器的性能瓶颈的时候,根本没必要进行分布式架构。那如果业务量上来了,一般会怎么解决呢?
  • 首先考虑的就是机器升级。机器配置的垂直扩展,首先要找到当前性能的瓶颈点,是CPU,是内存,是硬盘,还是带宽。砸钱加CPU,砸钱换SSD硬盘,砸钱换1T内存,这通常是解决问题最直接也最高效的方法。带宽不够?加带宽,1G不够用100G。CPU 8核不够?搞32核96核。这是绝大多数公司能思考到的第一个方案,也是最高效最快最安全的方法,立竿见影。
  • 其次就是系统拆分,将所提供服务的主流程以及支线流程梳理出来,按照流程进行系统拆分。如同一棵树,核心业务作为主干流程,其他系统按照需要进行拆分,如同树的开枝散叶。所采取的方式有这么一些,按前后端进行拆分,按照领域拆分,按团队拆分,当然通常来说这些拆分基本都要跟着组织架构走。
  • 再不行就进行技术升级,更换更加高效或者场景适合的技术。比如从 Oracle 更换到HBase。从A数据库连接池更换到B数据库连接池。技术的变革对于业务量的支持也是非常巨大的,同一台机器不同的技术,效能发挥的程度可以说有天壤之别。
  • 最后的最后手段才会考虑分布式架构,实在是砸不出这么多钱了,实在是没办法了。因为分布式架构肯定会带来非常多非常多的一致性问题,原本只需要访问一台机器,现在需要访问N台,那么这N台机器的一致性怎么保证,以前撑死搞个主从备份就算完了,定时同步一下数据就好,现在N台设备的数据怎么管理,甚至这个集群本身怎么管理,都会成为一个致命的问题。
  • 所以只有等业务量到达一定程度了,单台机器扛不住了,才会开始堆钱升级机器,系统拆分,换技术,继续堆钱升级机器,系统拆分…周而复始,发现成本太高或者技术已经到达上线了。最后没办法,就选择分布式架构了。
  • 但是分布式架构的优势也是明显的,用一群低廉的设备,来提供一个高性能高吞吐量的稳定的系统,下面开始说说常见的分布式集群的架构。

常见的分布式集群架构

1. 纯负载均衡形式(集群方向)

在集群前面,前置一个流量分发的组件进行流量分发,整个集群的机器提供无差别的服务,这在常见的 web 服务器中是最最常见的。目前比较主流的方式就是整个集群机器上云,根据实时的调用量进行云服务器弹性伸缩。常见的负载均衡有硬件层面的 F5、软件层面的 nginx 等。
在这里插入图片描述

2. 领导选举型(分布式方向)

整个集群的消息都会转发到集群的领导这里,是一种 master-slavers,区别只是这个 master 是被临时选举出来的,一旦 master 宕机,集群会立刻选举出一个新的领导,继续对外提供服务。使用领导选举型架构的典型的应用有 ElasticSearch,zookeeper。
在这里插入图片描述

3. 区块链型(分布式方向)

整个集群的每一个节点都可以进行记录,但是记录的内容要得到整个集群 N 个机器的认可才是合法的。典型的应用有 Bit Coin,以及 Hyperledger。
在这里插入图片描述

4. master-slaver型(分布式方向)

整个集群以某台 master 为中枢,进行集群的调度。交互是这样,一般会把所有的管理类型的数据放到 master 上,而把具体的数据放到 slaver 上,实际进行调用的时候,client 先调用 master 获取数据所存放的 server 的 信息,再自行跟 slave 进行交互。典型的系统有 Hadoop集群,HBase 集群,Redis 集群等。
在这里插入图片描述

5. 规则型一致性Hash

这种架构类型一般出现在数据库分库分表的设计中。按照规则进行分库分表,在查询之前使用规则引擎进行库和表的确认,再对具体的应用进行访问。为什么要用一致性 Hash ?其实用什么都可以,只是对于这类应用来说一致性 Hash 比较常见而已。
在这里插入图片描述


http://chatgpt.dhexx.cn/article/2dVTVkoS.shtml

相关文章

分布式和集群的区别是什么?

分布式是指将不同功能,或不同地点,或拥有不同数据的多台计算机通过网络连接起来,由控制系统统一管理,完成大规模信息处理的计算机系统。 集群是指将多台服务器集中在一起提供同一种服务,在逻辑上可以看做是一台服务器…

集群、分布式、微服务的区别和介绍

目录 一、集群的概念 二、为什么要使用集群? 1、集群的特点 2、集群的优势 3、集群分类及不同分类的特点 三、集群分类介绍 1、负载均衡集群 2、高可用性集群 3、高性能计算集群 四、集群与分布式区别 1、分布式图解 2、集群模式图解 五、分布式与微服…

理解分布式和集群的区别

简单理解: 分布式:一个业务分拆多个子业务,部署在不同的服务器上 集群:同一个业务,部署在多个服务器上 一句话,就是:“分头做事”与“一堆人”的区别 图文理解: 详细理解&#x…

什么是分布式和集群?

漫小画 擅长漫话 程小员 擅长编程 某天,下班较早,我正在玩吃鸡,已经到决赛圈了,这时候,女朋友满脸求知欲的朝我走过来。 上次他们都说你给我讲的面向对象太简单了。 那你想怎样?为什么我一玩游戏你就过来问…

分布式和集群区别与分布式的应用场景

分布式是指将一个业务拆分不同的子业务,分布在不同的机器上执行,集群是指多台服务器集中在一起,实现同一业务,可以视为一台计算机,一个云计算平台,就是通过一套软件系统把分布式部署的资源集中调度使用。要…

java集群和分布式 区别_集群和分布式的区别?

集群和分布式有什么区别? 分布式系统: 分布式系统(distributed system)是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作…

分布式和集群的区别

分布式和集群的区别 分布式 分布式就是将多台服务器集中在一起,每台服务器都实现总体中的不同业务。每台服务器都缺一不可,如果某台服务器发生宕机了,则网站的 部分功能缺失,将导致整体无法运行。 分布式存在的作用主要是将应用…

php常用换行代码

文章目录 一、""二、"\n" 记录一下php换行的代码书写 一、"</br>" "<br/>"浏览器显示换行&#xff0c;源代码显示<br/>例&#xff1a; <?php echo "Test"."<br/>"; echo "one…

php不换行显示,php中\n不换行

本文俺将跟大家介绍两个解决办法。 原因 PHP中默认输出的文档格式是text/html&#xff0c;在html文件中识别\n为空格。 解决办法 办法一 设置content-type 显示的将content-type设置为text/plain&#xff0c;注&#xff1a;设置后将不能使用html标签。 例&#xff1a; /** * 犀…

php 保存文件并换行,php是怎样向文件中写入换行_后端开发

php向文件中写入换行的要领是&#xff1a;1、在变量【$filename】背面加上“\r\n”&#xff1b;2、在代码中写入【file_put_contents($filelist&#xff0c;$filename“\r\n”&#xff0c;FILE_APPEND)】函数。 PHP写文件换行的体式格局 直接在字符串背面加"\r\n"不行…

php换行替换,php怎么替换回车换行

php替换回车的方法&#xff1a;1、使用语句“str_replace(array("/r", "/n", "/r/n"), "", $string);”&#xff1b;2、利用正则表达式&#xff1b;3、通过语句“$str str_replace(PHP_EOL,)”。 PHP替换回车换行的三种方法 一个小小…

关于PHP中echo换行问题

前提&#xff1a;在 PHP 中仅双引号支持字符串转义“\” 但是我发现即使是双引号&#xff0c;\n也没有正常换行 echo "hello \n world";首先&#xff0c;PHP没有任何问题&#xff0c;成功将转移换行符\n解析出来&#xff0c;最初还以为PHP不兼容\n这个语法呢。 检查…

php换行操作总结

作为php的初学者,常常遇到一个容易混淆的小问题, 那就是在php代码中写入\n换行操作符&#xff0c;以为在浏览器那里呈现的输出是换行&#xff0c;没想到却没有。但是写入 br 却顺利通过.导致很多初学者傻傻分不清! 其实<br>和\n都可以,为什么说都可以呢&#xff1f; 这…

php echo换行

<?php $root [1, 2, 2, 3, 4, 4, 3];echo count($root) . "<br>";echo $root[0]; ?>

PHP如何换行

mac下<br>和\n都可以 为什么说都可以呢&#xff1f; 这和php文件的执行方式有关 php文件有两种执行方式&#xff0c;一种是通过网页访问&#xff0c;一种是通过命令提示符 <?phpecho "this is a \n"; echo "test \n";?> ① 通过网页执行 …

php 换行替换成p,php 换行如何替换

php换行替换的方法&#xff1a;1、使用str_replace来替换换行&#xff0c;语法如“str_replace(array("\\r\\n", "\\r", "\\n"), "", $str);”&#xff1b;2、使用正则表达式替换&#xff1b;3、使用php定义好的变量替换。 推荐&#…

如何在PHP中换行

文章目录 正文解决方法方法一&#xff1a;使用 HTML 中的换行符方法二&#xff1a;查看 PHP 解析的源代码 额外说明参考资料 本文是对 PHP 换行符的使用讲解 正文 今天在学习 PHP 的过程中发现 \n 并没有像书上说的正常换行。 举个例子&#xff0c;如下 PHP 代码&#xff1a…

PHP字符串换行

目录直达 PHP字符串中换行方法一&#xff1a;&#xff08;PHP_EOL&#xff09;方法二&#xff1a;&#xff08;\n&#xff08;或 \r\n&#xff09;换行&#xff09;方法三&#xff1a;&#xff08;enter键换行&#xff09;方法四&#xff1a;&#xff08;使用HTML换行符<br …

PHP如何使用换行符?(代码示例)

在PHP脚本中有时需要进行换行输出&#xff0c;那么如何进行换行&#xff1f;下面本篇文章就来给大家介绍一下在PHP中如何使用换行符进行换行&#xff0c;希望对大家有所帮助。 方法一&#xff1a;使用PHP换行符 换行符是用于逃避继续使用相同行的分隔符。这是为了将冗长的线分…

java本地缓存简介

java中的本地缓存&#xff0c;工作后陆续用到,一直想写&#xff0c;一直无从下手&#xff0c;最近又涉及到这方面的问题了&#xff0c;梳理了一下。自己构造单例、guava、ehcache基本上涵盖了目前的大多数行为了。 为什么要有本地缓存&#xff1f; 在系统中&#xff0c;有些数…