MySQL数据库集群的原理与搭建

article/2025/11/10 10:37:34

【1.应用背景】


    在最近做的项目中,因为有一个短时间内很多人访问服务,会频繁访问数据库,看到这里不免有些人会想起数据库集群。我们组长也想到了用数据库集群,于是就带着我们几个研究起来了mysql数据库集群的搭建。因为我们几个的电脑都是windows的系统,所以搭建的是windows下的集群环境。

    当提到大数据,高并发。大家都会想到分布式,集群。那么两者都是用来处理大批量数据操作的,其工作原理是有很大区别的,分布式会缩短单个任务的执行时间来提升工作效率,而集群强调的是提高单位时间内执行操作数的增加来提高效率。更简单的来说,分布式是将步骤分到每台电脑上,不考虑依赖关系。集群方案是指几个任务同时在处理。





【2.为什么需要数据库集群】


    当数据量很大的时候,即使服务器在没有任何压力的情况下,某些复杂的查询操作都会非常缓慢,影响了最终用户的体验。通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术(反正就是个啥算法,我是不明白它内部是如何处理这些请求的)。MySQL集群技术在分布式系统中为MySQL数据提供了冗余特性,增强了安全性,使得单个MySQL服务器故障不会对系统产生巨大的负面效应,系统的稳定性得到保障。讲到这里,我想到memcached的应用,介于应用程序和物理数据源之间,其作用是为了降低应用程序对物理数据源访问的频次,从而提高了应用的运行性能。缓存内的数据是对物理数据源中的数据的复制,应用程序在运行时从缓存读写数据,在特定的时刻或事件会同步缓存和物理数据源的数据。缓存的使用也在一定程度上减少了对服务器读操作。

    上午听到一位很厉害的架构师传授经验,他就讲到服务器的资源是很宝贵的,不是所有请求都有必要通过服务器来接收,回复。在资源和效率之间我们需要做一个权衡,那频繁访问需要用到的数据需要存储到缓存中,那服务器缓存是相对安全的。潜在的安全风险 Cookie 可能会被篡改。用户可能会操纵其计算机上的 Cookie,这意味着会对安全性造成潜在风险或者导致依赖于 Cookie 的应用程序失败。另外,虽然 Cookie 只能被将它们发送到客户端的域访问,历史上黑客已经发现从用户计算机上的其他域访问 Cookie 的方法。题外话了,接着说我们搭建集群。


【3.mysql集群原理】


   管理节点,数据节点,sql节点,这三种节点只是在逻辑上的划分,所以它们不一定和物理计算机是一一对应的关系。比如说,管理节点可以也当做sql节点用。




  • 管理节点(ndb_mgmd)
   管理节点(也可以称管理服务器)主要负责管理数据节点和SQL节点,还有集群配置文件和集群日志文件。它监控其他节点的工作状态,能够启动、关闭或重启某个节点。其他节点从管理节点检索配置数据,当数据节点有新事件时就把事件信息发送给管理节点并写入集群日志。提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节点。MGM节点是用命令ndb_mgmd启动的。

  • 数据节点(ndbd)
   数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就有4个数据节点。没有必要有一个以上的副本。数据节点是用命令ndbd启动的。


  • sql节点(mysqld)

   客户端节点是使用NDB簇存储引擎的传统MySQL服务器。典型情况下,SQL节点是使用命令mysqld –ndbcluster启动的,或将ndbcluster添加到my.cnf后使用mysqld启动。


【4.如何搭建】


三步骤:管理节点——>数据节点——>sql节点

1.节点信息:
    管理节点:192.168.21.114
    数据节点A:192.168.21.83
    数据节点B:192.168.21.88
    SQL节点A:192.168.21.83
    SQL节点B:192.168.21.88

2.将安装包解压到C:盘,起名mysql文件夹,在bin目录下创建三个文件夹

---config
---cluster-logs
---cluster-data

在config下填写配置文件信息:
  • my.ini:
[mysql_cluster] 
# Options for management node process 
config-file=C:/mysql/bin/config/config.ini


  • config.ini:

[ndbd default] 
# Options affecting ndbd processes on all data nodes: 
NoOfReplicas=2                      # Number of replicas 
DataDir=C:/mysql/bin/cluster-data   # Directory for each data node's data files # Forward slashes used in directory path, # rather than backslashes. This is correct; # see Important note in text DataMemory=80M                      # Memory allocated to data storage 
IndexMemory=18M                     # Memory allocated to index storage # For DataMemory and IndexMemory, we have used the # default values. Since the "world" database takes up # only about 500KB, this should be more than enough for # this example Cluster setup.[ndb_mgmd] 
# Management process options: 
HostName=192.168.21.114           # Hostname or IP address of management node 
DataDir=C:/mysql/bin/cluster-logs   # Directory for management node log files[ndbd] 
# Options for data node "A":     
HostName=192.168.21.83              # Hostname or IP address[ndbd] 
# Options for data node "B":
HostName=192.168.21.88              # Hostname or IP address[mysqld] 
# SQL node A options:
HostName=192.168.21.83              # Hostname or IP address[mysqld] 
# SQL node B options:
HostName=192.168.21.88              # Hostname or IP address


3.启动管理节点:

c:\mysql\bin\ndb_mgmd.exe --configdir=c:\mysql\bin\config --config-file=c:\mysql\bin\config\config.ini --ndb-nodeid=1 --reload –initial 




4.启动数据节点:

   c:\mysql\bin\ndbd.exe --ndb-connectstring=192.168.21.114




5.启动sql节点(目前还有问题,但是命令没错)

c:\mysql\bin\mysqld.exe --ndbcluster --ndb-connectstring=192.168.21.114 --console






6.查看各个节点信息:

c:\mysql\bin\ndb_mgm

show


到这里所有节点就都启动成功了。可以测试一下,在节点A上面存数据,节点B就可以查到数据。





【5.总结】


   1.假如一个数据节点宕机,并不会影响整个集群的运行,任何一个数据节点死掉甚至物理损坏都不用担心,因为每个数据节点保存的数据都是完整的一份数据。

   2.每一个数据库服务器都有一套完整的数据,这样数据节点就可以分配数据请求到各个sql节点上,提高了操作效率。





http://chatgpt.dhexx.cn/article/oACIRORp.shtml

相关文章

MySQL 数据库主从集群搭建

文章目录 1 准备工作2 配置主数据库3 配置从库4 从库设置只读用户5 推荐参考资料 1 准备工作 1 选择一个服务器当做主服务器,将服务器上需要的数据进行备份 2 安装从库的 MySQL,需要与主服务器的版本保持一致 3 将主服务器上的数据同步到从库中(主从集…

MySQL数据库主从集群架构搭建

一、相关概念 二、配置一主一从 三、配置一主多从 四、配置主从从 五、配置主主结构 六、配置半同步复制模式 一、相关概念 1.1 主从同步介绍: 存储数据的服务结构,分为2种角色: 主服务器(master):接受客户端访问连接 从服务器(sl…

谈谈mysql数据库集群

现在,随着上网人数的激增,一些大型的网站开始使用数据库集群来提高数据库的可靠性和数据库的性能。那么在介绍数据库集群之前首先需要弄清楚几个问题。 1.为什么要用数据库集群 (1)通过使用数据库集群可以使读写分离,提…

MySQL集群配置

1. MySQL集群简介 MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。MySQL Cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。…

MySQL数据库集群(双主双从)

文章目录 MySQL数据库集群(双主双从)实验环境双主双从双主双从进行测试 MySQL数据库集群(双主双从) 实验环境 保证每台centos7服务器配置静态的IP,初始化服务器,关闭防火前和selinux,保证四台服务器之间可以互相通信,并且做好hosts域名解析…

数据库与集群

数据库与集群 1、数据库集群 概念:数据库集群,顾名思义,就是利用至少两台或者多台数据库服务器,构成一个虚拟单一数据库逻辑映像,像单数据库系统那样,向客户端提供透明的数据服务。 数据库集群两个关键定…

数据库-mysql集群方案总结

一 概念解读 1 数据库高可用 高可用指的是:如果数据库发生了宕机或者意外中断等故障,能尽快恢复数据库的 可用性,保证业务不会因为数据库的故障而中断。 另外,数据库高可用还要数据一致性,如下: (1) 用作备份、只读副…

数据库集群

目录 主从复制集群单机数据库的问题单机到集群主从复制传统主从复制异步复制半同步复制 组复制(MGR MySQL Group Replication MGR ) 主从复制演示准备两个MySQL服务实例修改主数据库MySQL_A的my.ini中的[mysqld]配置项下的配置如下修改从数据库MySQL_B的…

MySQL数据库的集群方案

1.简介 我们一般应用对数据库而言都是“读多写少”,也就说对数据库读取数据的压力比较大,有一个思路就是说采用数据库集群的方案: 其中一个是主库,负责写入数据,我们称之为:写库; 其它都是从库&…

MySQL集群解决方案(1):MySQL数据库的集群方案

1、系统架构存在的问题 在我们的系统架构中,DBserver方面我们只是使用了单节点服务,如果面对大并发,海量数据的存储,显然单节点的系统架构将存在很严重的问题,所以接下来,我们将实现MySQL的集群&#xff0c…

C语言回调函数详解及实例

C语言回调函数详解及实例 回调函数:函数 F1 调用函数 F2 的时候,函数 F1 通过参数给函数 F2 传递了另外一个函数 F3 的指针,在函数 F2 执行的过程中,函数F2 调用了函数 F3,这个动作就叫做回调(Callback&…

回调函数

什么是回调函数? 有以下三点 1、自己创建的函数; 2、没有调用; 3、但是函数执行了(在某个条件下)。 例如: 1.定时器函数 var a 1setItercal( function(){aconsole.log(a)},1000)//延时器var a 1setTimeout( functi…

C++中回调函数的一个简单例子?

回调函数应用实例: 1、定义一个Person类 (Person.h)文件: 注意:在这个类中指定了回调函数,回调函数的执行者,和回调函数指针 重要的是 回调函数和回调函数指针是怎么关联的? 2、…

一个简单的jQuery回调函数例子

欢迎扫码加入Java高知群交流 jQuery回调函数简单使用 比如说,我们想要点击某个按钮后触发事件, 先把一些指定内容给隐藏掉, 然后跳出相关信息的对话框。 如果使用普通的方法, 不用回调函数的话, 会有怎么样的效…

【C语言】回调函数

目录 前言 一、回调函数是什么? 二、使用步骤 1.举例 2.库函数中的例子 3.模拟实现qsort()函数 前言 随着我们对C语言的学习以及对指针更加深入的了解,我们避免不了接触到回调函数,以下是关于回调函数的知识分享。 一、回调函数是什么…

C语言回调函数一个简单的例子

回调函数通俗的解释: 普通函数:你所写的函数调用系统函数,你只管调用,不管实现。 回调函数:系统调用你所写的函数,你只管实现,不管调用。 以下是使用C语言实现回调函数的一个例子&a…

JS回调函数——简单易懂有实例

初学js的时候&#xff0c;被回调函数搞得很晕&#xff0c;现在回过头来总结一下什么是回调函数。什么是JS&#xff1f;&#xff08;点击查看&#xff09; 下面先看看标准的解释&#xff1a; <script language"javascript"> 02 function SortNumber( obj, …

C语言回调函数详解(全网最全)

文章目录 一、函数指针1.概念2,如何用函数指针调用函数3.**函数指针作为某个函数的参数**4.函数指针作为函数返回类型5.函数指针数组6.函数指针总结 二、回调函数1.什么是回调函数2 为什么要用回调函数&#xff1f;3 怎么使用回调函数&#xff1f;4.下面是一个四则运算的简单回…

回调函数(简单易懂)

因为今天又遇到新的回调函数的形式 callback && callback()&#xff1b;所以搜了一下回调函数&#xff0c;发现真的好多人写得好复杂啊&#xff0c;看得我昏昏欲睡还是看不懂&#xff0c;还有看到有的人说是 主函数执行完再去执行回调函数&#xff0c;我顿时无语&…

回调函数的使用(完整例程)

前提是了解函数指针的基本用法&#xff08;定义函数指针以及调用&#xff09;&#xff0c;可以看下面这个帖子&#xff0c;一步到位 函数指针的一个定义和两个调用 实战&#xff08;完整代码例子&#xff09; #include<bits/stdc.h> using namespace std; int add(int …