【集群】集群的概念(相关知识)、常用工具/算法、常见集群

article/2025/9/16 1:20:28

文章目录

  • 前言
  • 一、集群架构
    • 1.1 负载调度器
      • 1.1.1 常用调度算法
      • 1.1.2 LVS模块
    • 1.2 节点服务器
    • 1.3 共享储存
      • 1.3.1 NFS共享储存
      • 1.3.2 NAS存储设备
  • 二、集群
    • 2.1 负载均衡
      • 2.1.1 定义
      • 2.1.2 负载均衡搭建
    • 2.2 高可用
      • 2.2.1 定义
      • 2.2.2 高可用集群搭建
    • 2.3 高性能运算群集
  • 三、ipvsadm工具
  • 四、思维导图
  • 五、结语


前言

本博客内容仅为记录博主思路,仅供参考,一切以自己实践结果为准。


一、集群架构

1.1 负载调度器

1.1.1 常用调度算法

算法分配方式
轮询:rr每台服务器均分
加权轮询:wrr根据权重分配
最小连接:lc谁的连接数最少分配给谁
最小加权轮询:wlc连接数/权重,谁最小分配给谁
源地址哈希:sh在连接保持时间内,根据访问源IP分配到上次的服务器

1.1.2 LVS模块

  • 确认模块启用:modprobe ip_vs
  • 查看模块版本:cat /proc/net/ip_vs
  • 调度算法目录:/usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs/
  • 加载所有算法:for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o “^[^.]*”);do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

1.2 节点服务器

  • 处理负载均衡器发送过来的请求的服务器(nginx/Tomcat等)

1.3 共享储存

1.3.1 NFS共享储存

#nfs储存服务器
yum install rpcbind -y			#安装服务
vim /etc/exports				#配置共享的目录、享受共享的主机地址
/opt/nfs/web1 192.168.13.0/24(rw,sync,no_root_squash)systemctl start rpcbind			#必须先启动rpcbind服务
systemctl start nfs				#驱动nfs共享服务#节点服务器
mount ip:分享路径 本地挂载点		#将资源服务器内容挂载到节点服务器
vim /etc/fstab					#配置开机自动挂载:挂载内容 挂载点 文件系统 默认权限

1.3.2 NAS存储设备

  • 实际生产环境运用的存储方式

二、集群

2.1 负载均衡

2.1.1 定义

  • 作用:提高并发性,降低延迟率
  • 算法:①反向代理;②DNS轮询
  • 工作模式:①NAT模式(地址转换);②DR模式(直接路由);③IP隧道

2.1.2 负载均衡搭建

链接优势劣势
nginx负载均衡(四层/七层反向代理)轻量级,便捷高并发性能较差,不支持健康检查
lvs负载均衡(NAT/DR)性能最好,支持健康检查搭建复杂,费用较高
IP隧道模式费用适中,并发能力比nginx好性能适中,无突出点
硬件负载均衡最常见:F5较常见:梭子鱼、绿盟

2.2 高可用

2.2.1 定义

  • 作用:提高可靠性,保持连续性
  • 效率:一般企业可达到3-5个9的保证率
  • 工作模式:①主从(故障切换/双机热备);②双工

2.2.2 高可用集群搭建

  • 高可用集群(包含了NAT/DR模式):下方的ipvsadm工具命令了解即可,集群肯定会用高可用,而keepalived中又包含了部分NAT/DR的ipvsadm配置,因此学会keepalived高可用即可。

2.3 高性能运算群集

  • 一般国家级才会用到

三、ipvsadm工具

  • 工具命令语法
选项作用
-A添加虚拟调度服务器
-D删除虚拟调度服务器
-s指定调度算法
-a添加节点服务器
-d删除节点服务器
-t指定VIP地址/TCP端口
-m使用NAT模式
-g使用DR模式
-i使用IP隧道模式
-w设置权重
-p 60设置长链接60s
-l查看虚拟调度服务器
-n以数字形式显示地址

四、思维导图

在这里插入图片描述

五、结语

  • 集群,是结合了成本与效率均衡考虑之后,横向发展的科技树。
  • 高可用是在负载均衡上的进一步优化,在做到高效率的同时,做到高可靠,高保证。

http://chatgpt.dhexx.cn/article/hgZudSGP.shtml

相关文章

集群测试工具

DFSIO测试集群I/O性能 DFSIO 用法 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.X-tests.jar TestDFSIO 15/05/22 19:50:22 INFO fs.TestDFSIO: TestDFSIO.1.8 Missing arguments. Usage: TestDFSIO [genericOptions] -read […

集群监视软件Ganglia

什么是ganglia Ganglia监控软件主要是用来监控系统性能的软件,如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到…

Linux集群管理软件clustershell

Linux集群管理软件clustershell 1.简介 机房有大概百台的服务器需要管理,加上需要搭建Hadoop以及Spark集群等,因此,一个轻量级的集群管理软件就显得非常有必要了。经过一段时间的了解以及尝试,最终选择了clustershell这个软件&…

计算机集群

计算机集群简称集群是一种计算机系统, 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上,他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点,通常通过局域网连接,但也有…

HAProxy集群与常见的Web集群软件调度器对比

目录 一.常见的Web集群调度器 二.HAProxy基本介绍 1.HAProxy是什么? 2.HAProxy的特性 3.HAProxy常用的8种负载均衡调度算法 3.1 轮询:RR(Round Robin) 3.2 最小连接数:LC(Least Connections&#xf…

[Linux基础与服务管理——常用集群高可用软件 Keepalived]

1.Keepalived 简介 Keepalived是Linux下的一个免费的、轻量级的高可用解决方案。是一个由C语言编写的路由软件,主要目标是为Linux系统和基于Linux的基础架构提供简单而强大的负载平衡和高可用性设。Keepalived实现了一组检查器,以根据其健康状况动态地和…

高性能集群软件keepalived

背景 网络的飞速发展,给网络带宽和服务器性能带来了巨大的挑战,基于互联网的应用系统越来越多地瓶颈出现在服务器端,这就对服务器提出了更高的要求,来保证服务的持续性。 集群简介 定义:集群是一组协同工作的服务集合…

集群分为几种,用的软件分别是什么?

集群分为几种,用的软件分别是什么? 补充:涉及的组件 1.1、apache 跨平台的网页服务器,主要使用它做静态资源服务器,也可以做代理服务器转发请求 1.2、ngnix 高性能的 HTTP和反向代理服务器,ngnix处理能力相当于apache…

Linux下的5款主流高可用集群软件介绍

Linux集群主要分成三大类:高可用集群(High Availability Cluster)、负载均衡集群(Load Balance Cluster)、科学计算集群(High Performance Computing Cluster)。 其中高可用集群具有保障应用程序持续提供服务的能力,可以将因软、硬件、人为造成的故障对业务的影响降低到最小…

Horizon Daas 桌面报错:desktop agent通信错误

一、故障描述 上述错误是因无法解析来自身份验证错误响应中的错误时,会报出。这往往时由于horizon client与TA,view agent之间的通信中断造成的。造成在desktone.log日志里可看到相关warning或error,如下所示: 二、分析处理 1、…

一文看懂数据服务DaaS

数据是国家的,金融是国家的。朕不给,你不能要。 (1)中国数据服务 一、数据工具 像云计算厂商搞的大数据平台,就是这个定位。它们纯搞产品,做好品牌,做好合作伙伴招募,由合作伙伴去做…

IaaS、PaaS、SaaS、DaaS的区别与联系

按照服务划分,云计算可以分为IaaS、PaaS、SaaS、DaaS四个层次。 IaaS(Infrastructure as a Service,基础架构即服务)是基础层。在这一层,通过虚拟化、动态化将IT基础资源(计算、网络、存储)聚合…

Horizon Daas浮动桌面无法删除解决

Horizon Daas浮动桌面无法删除解决 【问题描述】 某次执行对桌面删除重新分配操作,发现桌面功能下拉列表里,未出现删除选项,【浮动桌面】无法删除,即无法释放所占资源。 【问题分析】 经检查发现,原来此类桌面为“…

关于Daas平台无法登录的故障处理

关于Daas平台无法登录的故障处理 【事件描述】 某天对Daas桌面环境中AD域控服务器进行挂起,执行克隆备份操作后,再次开启AD域控后,登录短少系统报错:身份验证失败,无法登录。如下图所示: 【故障分析及处…

daas 数据即服务_万物物联时代,数据即服务

关于DAAS的概念 1.未来万物互联,数据就是服务 如何利用移动通信将万物互联,彻底实现智能化,是当前发展的愿景。在这个愿景之下,我们希望能够建立统一的框架,把人的通讯问题、万物互联的问题囊括其中,以超高…

跑出了几个明星厂商,DaaS赛道要火?

图片来源于Unsplash 文丨螳螂观察 作者丨陈淼 从今年的形势来判断,DaaS(数据即服务)赛道看来要火。 相关的信号有两个。 6月末,阿里成立了一家子公司,瓴羊智能服务公司。根据介绍,这家公司将把阿里巴巴…

IaaS、PaaS、SaaS、DaaS的区别

1.IaaS IaaS是Infrastructure as a server的缩写,意思是基础设施即服务。又云端公司把IT环境的基础设施建设好,然后直接对外出租硬件服务器或者虚拟机。消费者可以利用所有计算基础设施,包括处理CPU、内存、存储、网络和其它基本的计算资源&…

Tapdata 在线研讨会:DaaS vs 大数据平台,是竞争还是共处?

从20年前的传统数仓,到10年前大数据平台,5年前开始火热的数据中台以及最近出现的湖仓一体新数据平台,今天被数据孤岛困扰的企业,面临着太多的选择。这些数据产品及架构有一个共性:他们本质上解决的大部分都是分析洞察类…

云目录(DaaS )快速入门

目录即服务(Directory-as-a-Service,DaaS)是针对企业用户存储的云解决方案,将 LDAP 或微软 Active Directory(AD)作为云服务进行管理。DaaS 和很多云平台一样,不仅仅是基于云的 AD 或LDAP不单单…

关于Horizon DaaS Platform的一些疑问

问: DaaS 是什么意思? 答: DaaS 的含义是“Desktops as a Service”(桌面即服务)。 问:所谓的“以云计算服务的形式交付 Windows 桌面或应用”是什么意思? 答:是指云提供商利用他们…