一、MySQL主从复制原理

在实际的生产中，为了解决Mysql的单点故障已经提高MySQL的整体服务性能，一般都会采用「主从复制」。

比如：在复杂的业务系统中，有一句sql执行后导致锁表，并且这条sql的的执行时间有比较长，那么此sql执行的期间导致服务不可用，这样就会严重影响用户的体验度。

主从复制中分为「主服务器（master）「和」从服务器（slave）」，「主服务器负责写，而从服务器负责读」，Mysql的主从复制的过程是一个「异步的过程」。

这样读写分离的过程能够是整体的服务性能提高，即使写操作时间比较长，也不影响读操作的进行。

1、MySQL 支持的复制类型

基于语句的复制（STATEMENT）：在主服务器上执行的 SQL 语句，在从服务器上执行同样的语句。MySQL 默认采用基于语句的复制，效率比较高。

基于行的复制（ROW）：把改变的内容复制过去，而不是把命令在从服务器上执行一遍。

混合类型的复制（MIXED）：默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。

2、MySQL主从复制的工作过程

在这里插入图片描述

在从节点上执行sart slave命令开启主从复制开关，开始进行主从复制。从节点上的I/O 进程连接主节点，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容；

主节点接收到来自从节点的I/O请求后，通过负责复制的I/O进程（log dump 线程）根据请求信息读取指定日志指定位置之后的日志信息，返回给从节点。返回信息中除了日志所包含的信息之外，还包括本次返回的信息的bin-log file 的以及bin-log position（bin-log中的下一个指定更新位置）；

从节点的I/O进程接收到主节点发送过来的日志内容、日志文件及位置点后，将接收到的日志内容更新到本机的relay-log（中继日志）的文件（Mysql-relay-bin.xxx）的最末端，并将读取到的binary log（bin-log）文件名和位置保存到master-info 文件中，以便在下一次读取的时候能够清楚的告诉Master“我需要从某个bin-log 的哪个位置开始往后的日志内容，请发给我”；

Slave 的 SQL线程检测到relay-log 中新增加了内容后，会将relay-log的内容解析成在主节点上实际执行过SQL语句，然后在本数据库中按照解析出来的顺序执行，并在relay-log.info中记录当前应用中继日志的文件名和位置点。

二、MySQL读写分离

在这里插入图片描述

数据库每天都要承担的网站的数据更新，所以大量的读写任务都在一个机器上压力非常大。使用读写分离可以有效的缓解数据库压力。

1、MySQL 读写分离原理

只在主服务器上写，只在从服务器上读。

主数据库处理事务性查询，而从数据库处理 select 查询。

数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库。

2、读写分离方案

基于程序代码内部实现在代码中根据select. insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。优点是性能较好，因为在程序代码中实现，不需要增加额外的设备作为硬件开支:缺点是需要开发人员来实现，运维人员无从下手。

基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端的请求后通过判断后转发到后端数据库，有两个代表性程序。

(1) MySQL-Proxy。MySQL- -Proxy为MySQL开源项目，通过其自带的lua脚本进行SQL判断,虽然是MySQL官方产品，但是MySQL官方并不建议将MySQL- -Proxy 用到生产环境。

(2) Amoeba (变形虫)。由陈思儒开发，其曾就职于阿里巴巴。该程序用Java语言进行开发,阿里巴巴将其用于生产环境。它不支持事务和存储过程。

经过上述简单的比较,通过程序代码实现MySQL读写分离自然是一个不错的选择, 但是并不是所有的应用都适合在程序代码中实现读写分离，例如一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。所以,像这种大型复杂的应用一般会考虑使用代理层来实现。

三、MySQL主从复制和读写分离实验示例

在这里插入图片描述

1、实验思路

1、客户端访问代理服务器
2、代理服务器写入到主服务器
3、主服务器将增删改写入自己二进制日志
4、从服务器将主服务器的二进制日志同步至自己中继日志
5、从服务器重放中继日志到数据库中
6、客户端读，则代理服务器直接访问从服务器
7、降低负载，起到负载均衡作用

2.搭建 MySQL 主从复制

主服务器设置（192.168.172.10）
yum -y install ntpvim /etc/ntp.conf25行左右添加
server 127.127.172.0							#设置本地是时钟源，注意修改网段
fudge 127.127.172.0 stratum 8					#设置时间层级为8（限制在15内）service ntpd start

在这里插入图片描述

从服务器设置（192.168.172.20）、（192.168.172.30）yum -y install ntp ntpdateservice ntpd start
/usr/sbin/ntpdate 192.168.172.10			#进行时间同步，指向Master服务器IPcrontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.172.10

在这里插入图片描述

其他两个从主机同上

2、主服务器的mysql配置

vim /etc/my.cnf
server-id = 1
log-bin=master-bin							#添加，主服务器开启二进制日志
log-slave-updates=true						#添加，允许从服务器更新二进制日志systemctl restart mysqldmysql -u root -p
GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.172.%' IDENTIFIED BY '35123512';			#给从服务器授权
FLUSH PRIVILEGES;show master status;

#File 列显示日志名，Fosition 列显示偏移量

在这里插入图片描述

3、从服务器的mysql配置

vim /etc/my.cnf
server-id = 2						#修改，注意id与Master的不同，两个Slave的id也要不同
relay-log=relay-log-bin						#添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index		#添加，定义中继日志文件的位置和名称systemctl restart mysqld

在这里插入图片描述

mysql -u root -p
change master to master_host='192.168.172.10' , master_user='myslave',master_password='35123512',master_log_file='master-bin.000001',master_log_pos=604;#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致，这里的是例子，每个人的都不一样start slave;						#启动同步，如有报错执行 reset slave;
show slave status\G					#查看 Slave 状态
//确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes				#负责与主机的io通信
Slave_SQL_Running: Yes    #负责自己的slave mysql进程

在这里插入图片描述

4、验证主从复制效果

主服务器上进入执行 create database test;

在这里插入图片描述

四、搭建 MySQL 读写分离

1、Amoeba服务器配置

Amoeba服务器：192.168.172.40
将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin
按空格到最后一行
按yes，按entermv jdk1.6.0_14/ /usr/local/jdk1.6vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/binsource /etc/profile
java -version

在这里插入图片描述

2、安装 Amoeba软件

mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba

如显示amoeba start|stop 说明安装成功

在这里插入图片描述

3、在主从服务器的mysql上授权

先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

grant all on *.* to test@'192.168.172.%' identified by '35123512';

在这里插入图片描述

一台主两台从都需要开放权限给 Amoeba 访问这里就不一一设置了

4、配置 Amoeba读写分离，两个 Slave 读负载均衡

amoeba服务器配置amoeba服务

cd /usr/local/amoeba/conf/cp amoeba.xml amoeba.xml.bak
vim amoeba.xml									#修改amoeba配置文件
#---------30修改------------------------------
<property name="user">amoeba</property>
#---------32修改------------------------------
<property name="password">35123512</property>
#---------115修改-----------------------------
<property name="defaultPool">master</property>
#---------117去掉注释–------------------------
<property name="writePool">master</property>
<property name="readPool">slaves</property>

在这里插入图片描述

cp dbServers.xml dbServers.xml.bak

vim dbServers.xml
#---------23注释掉--------------------------------------
作用：默认进入test库 以防mysql中没有test库时，会报错
<!-- mysql schema
<property name="schema">test</property>
-->
#---------26修改-----------------------------------------
<!-- mysql user -->
<property name="user">test</property>
#---------28-30去掉注释----------------------------------
<property name="password">35123512</property>
#---------45修改，设置主服务器的名Master------------------
<dbServer name="master"  parent="abstractServer">
#---------48修改，设置主服务器的地址----------------------
<property name="ipAddress">192.168.172.10</property>
#---------52修改，设置从服务器的名slave1-----------------
<dbServer name="slave1"  parent="abstractServer">
#---------55修改，设置从服务器1的地址---------------------
<property name="ipAddress">192.168.172.20</property>
#---------58复制上面6行粘贴，设置从服务器2的名slave2和地址---
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.172.30</property>
#---------修改后的65或66修改-------------------------------------
<dbServer name="slaves" virtual="true">
#---------71修改----------------------------------------
<property name="poolNames">slave1,slave2</property>/usr/local/amoeba/bin/amoeba start&	 #启动Amoeba软件，按ctrl+c 返回
netstat -anpt | grep java	     #查看8066端口是否开启，默认端口为TCP 8066

在这里插入图片描述

5、测试读写分离

客户端：192.168.172.50
使用yum快速安装MySQL虚拟客户端

yum install -y mysql mysql-server
mysql -u amoeba -p35123512 -h 192.168.172.40 -P8066

在这里插入图片描述

总结

mysql主从复制原理

slave节点与主节点进行连接，建立主从关系，并把从哪开始同步，及哪个日志文件都一并发送到master

master将修改的数据保存到binlog中

master开启binlog dump线程，将binlog日志推送到连接的slave中

slave接受到推送的binlog，slave开启IO线程将数据写到中继日志(relay log)中

slave同时还会开启一个SQL线程，对比中继日志中新增的内容，并且解析SQL，回放数据到从数据库中

面试题：

1.如何查看主从同步状态是否成功

show slave status \G

show master status\G

如果I/O和sql不是yes呢，你是如何排查的

先看last errno有几个错误有什么错误等等都有信息显示

网络不通

my.cnf配置有问题

密码、file文件名、pos偏移量不对

防火墙没有关闭

3.show slave status \G能看到哪些信息（比较重要的）

io状态两个线程的yes

Last_Errno,Last_Error**

slave的SQL线程读取日志参数的的错误数量和错误消息。错误数量为0并且消息为空字符串表示没有错误；

如果Last_Error值不是空值，它也会在从属服务器的错误日志中作为消息显示。

主从复制慢（延迟）有哪些可能

从库硬件比主库差，导致复制延迟

主从复制单线程，如果主库写并发太大，来不及传送到从库，就会导致延迟。更高版本的mysql

可以支持多线程复制

慢SQL语句过多

网络延迟

master负载：主库读写压力大，导致复制延迟，架构的前端要加buffer及缓存层

slave负载：一般的做法是，使用多台slave来分摊读请求，再从这些slave中取一台专用的服务器，只作为备份用，不进行其他任何操作.

mysql主从同步读写分离的三个账号

主从同步（数据库互相授权的账号）

amoeba（客户端访问amoeba）

amoeba（amoeba访问数据库集群）
没有错误；

如果Last_Error值不是空值，它也会在从属服务器的错误日志中作为消息显示。

MySQL主从复制

一、MySQL主从复制原理

1、MySQL 支持的复制类型

2、MySQL主从复制的工作过程

二、MySQL读写分离

1、MySQL 读写分离原理

2、读写分离方案

三、MySQL主从复制和读写分离实验示例

1、实验思路

2.搭建 MySQL 主从复制

2、主服务器的mysql配置

3、从服务器的mysql配置

4、验证主从复制效果

四、搭建 MySQL 读写分离

1、Amoeba服务器配置

2、安装 Amoeba软件

3、在主从服务器的mysql上授权

4、配置 Amoeba读写分离，两个 Slave 读负载均衡

5、测试读写分离

总结

面试题：

相关文章