amoeba mysql proxy_mysql-proxy和amoeba 分别实现Mariadb读写分离

article/2025/9/13 12:52:28

内容概览:

1、mysql-proxy实现Mariadb读写分离

1、1 拓扑图和环境介绍

1、2 mysql-proxy安装

1、3 设置mysql-proxy

1、4 主节点添加mysql-proxy可访问用户

1、5 读写分离验证

2、amoeba

2、1 amoeba工作原理图

2、2 环境拓扑

2、3 配置JAVA环境

2、4 安装配置amoeba

2、5 抓包验证读写分离

1、Mysql-proxy实现Mariadb读写分离

MySQL Proxy就是这么一个中间层代理,简单的说,MySQL Proxy就是一个连接池,负责将前台应用的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,从而实现读写分离和负载平衡。对于应用来说,MySQL Proxy是完全透明的,应用则只需要连接到MySQL Proxy的监听端口即可。当然,这样proxy机器可能成为单点失效,但完全可以使用多个proxy机器做为冗余,在应用服务器的连接池配置中配置到多个proxy的连接参数即可。

MySQL Proxy更强大的一项功能是实现“读写分离”,基本原理是让主数据库处理事务性查询,让从库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从库。

-——百度百科

Mysql-proxy官方地址:dev.mysql.com/downloads/mysql-proxy/

1、1 拓扑图和环境介绍

76a6380c0f9e5b6cc11781f9015602ce.png主机名IP地址系统环境功能说明

Mysql-proxy172.16.4.100Centos6.6 64位接收用户对后端数据库的读写操作,并且将读写操作分别发往后端不同主机

Master172.16.4.136Mysql主库,可以接收读请求或者写请求

Slave172.16.4.10Mysql从库,只能接收读请求,如果想写入数据,需要从主库复制

说明:Master和Slave的主从复制环境已经在实验前配置完成,这里不提供配置。

1、2  mysql-proxy安装:

在epel的yum源中提供了mysql-proxy的rpm包,直接配置epel的yum源使用yum安装即可。[root@mysql-proxy ~]# yum install mysql-proxy

但是rpm包安装的mysql-proxy不知道什么原因没有读写分离脚本(rw-splitting.lua),所以需要解压源码包复制一个读写分离脚本到/usr/lib64/mysql-proxy目录下。[root@mysql-proxy ~]# tar xfmysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz

[root@mysql-proxy ~]# cdmysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/

[root@mysql-proxy mysql-proxy]# cp rw-splitting.lua/usr/lib64/mysql-proxy/lua/

安装后生成的文件[root@mysql-proxy ~]# rpm -ql mysql-proxy

/etc/mysql-proxy.cnf         #mysql-proxy的配置文件

/etc/rc.d/init.d/mysql-proxy #mysql-proxy启动脚本

/usr/bin/mysql-proxy         #mysql-proxy的主程序

1、3 设置mysql-proxy

修改mysql-proxy配置文件,指明后端读写服务器,mysql-proxy的连接及管理相关配置即可[root@mysql-proxy ~]# vim /etc/mysql-proxy.cnf

[mysql-proxy]

daemon = true

pid-file = /var/run/mysql-proxy.pid

log-file = /var/log/mysql-proxy.log

log-level = debug

max-open-files = 1024

plugins = admin,proxy

user = mysql-proxy

#

#Proxy Configuration

proxy-address = 0.0.0.0:3306                              #代理服务器监听地址和端口

proxy-backend-addresses = 172.16.4.136:3306               #支持读写操作的后端

proxy-read-only-backend-addresses =172.16.4.10:3306       #只读后端服务器,如果有多个节点使用逗号隔开

proxy-lua-script =/usr/lib64/mysql-proxy/lua/rw-splitting.lua  #指定使用的读写分离脚本

#proxy-skip-profiling = true

#

# Admin Configuration

admin-address = 0.0.0.0:4041      #连接mysql-proxy的mysql界面端口

admin-lua-script =/usr/lib64/mysql-proxy/lua/admin.lua  #指定使用的管理脚本

admin-username = admin             #连接mysql-proxy的用户名

admin-password = admin             #连接mysql-proxy的密码

设置完成启动mysql-proxy[root@mysql-proxy ~]# service mysql-proxy start

验证3306端口是否启动,如果启动表示proxy工作正常[root@mysql-proxy ~]# ss -tnlp | grep 3306

LISTEN    0      128                       *:3306                     *:*     users:(("mysql-proxy",37922,11))

1、4 主节点添加mysql-proxy可访问用户

主节点设置允许root用户远程连接并设置密码,否则mysql-proxy无法完成访问。MariaDB [(none)]> GRANT ALL ON *.* TOroot@'172.16.%.%' IDENTIFIED BY 'proxy';

MariaDB [(none)]> FLUSH PRIVILEGES;

说明:从节点不需要添加用户,因为主节点创建完成从节点就自动复制过去了。

这时使用mysql命令,连接mysql-proxy节点就可以查看数据库了[root@mysql-proxy ~]# mysql -uroot -h172.16.4.100-p -e 'SHOW DATABASES;'

Enter password:

+--------------------+

| Database          |

+--------------------+

| information_schema |

| hellodb           |

| mysql             |

| performance_schema |

| test              |

+--------------------+

1、5读写分离验证

连接mysql-proxy验证读写分离,帐号密码端口等都在mysql-proxy.cnf中定义。[root@mysql-proxy ~]# mysql -uadmin -padmin -P4041 -h172.16.4.100

使用SELECT * FROM backends;命令查看后端节点,从类型判断读服务器(ro)和写服务器(rw)mysql> SELECT * FROM backends;

+-------------+-------------------+---------+------+------+-------------------+

| backend_ndx | address           | state   | type | uuid | connected_clients |

+-------------+-------------------+---------+------+------+-------------------+

|           1| 172.16.4.136:3306 | up      | rw   | NULL |                 0 |

|           2| 172.16.4.10:3306  | unknown | ro   | NULL |                 0 |

+-------------+-------------------+---------+------+------+-------------------+

2 rows in set (0.00 sec)

从节点status显示unknown的原因是还没有将请求发往到从节点,只要连接到proxy节点执行一个select操作就会显示状态为up;操作过程如下所示:[root@mysql-proxy ~]# mysql -uroot -h172.16.4.100-p -e 'SELECT * from mysql.user;'

[root@mysql-proxy ~]# mysql -uadmin -padmin -P4041-h172.16.4.100

mysql> SELECT * FROM backends;

+-------------+-------------------+-------+------+------+-------------------+

| backend_ndx | address           | state | type | uuid |connected_clients |

+-------------+-------------------+-------+------+------+-------------------+

|           1| 172.16.4.136:3306 | up    | rw   | NULL |                 0 |

|           2| 172.16.4.10:3306  | up    | ro  | NULL |                 0 |

+-------------+-------------------+-------+------+------+-------------------+

2 rows in set (0.00 sec)

设置完成关闭服务,以免影响后续amoeba实验效果[root@mysql-proxy ~]# service mysql-proxy stop

2、Amoeba

Amoeba(变形虫)项目,该开源框架于2008年开始发布一款Amoeba forMysql软件。这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发。座落与Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结合。通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能,目前Amoeba已在很多企业的生产线上面使用。

2、1 Amoeba工作原理图

Client通过连接JAVA、PHP开发的前端程序,由程序将数据库请求发送到amoeba,amoeba将读写操作分发到不同的mysql数据库。

121507dbb261896e5bdc1d845c36b5e1.png

2、2环境拓扑

环境还是使用mysql-proxy的环境,只不过mysql-proxy换成了amoeba,IP地址等配置均相同,

6866d0fcf27663d6dae63b8bc9845d67.png

2、3 配置JAVA环境

Amoeba是根据JAVA语言研发的程序,如果想成功安装amoeba就需要配置JAVA运行环境。[root@amoeba ~]# rpm -ivh jdk-7u67-linux-x64.rpm

[root@amoeba ~]# vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/java/latest

export PATH=$JAVA_HOME/bin:/$PATH

[root@amoeba ~]# . /etc/profile.d/java.sh

验证,使用JAVA命令可以输出版本,表示JAVA环境配置成功[root@amoeba ~]# java -version

java version "1.7.0_67"

Java(TM) SE Runtime Environment (build1.7.0_67-b01)

Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04,mixed mode)

2、4 安装配置amoeba

解压amoeba到安装指定目录,就完了[root@amoeba ~]# mkdir /usr/local/amoeba

[root@amoeba ~]# tar xf amoeba-mysql-binary-2.2.0.tar.gz-C /usr/local/amoeba/

Master节点添加用户运行mysql-proxy远程连接(mysql-proxy的时候已经添加过了,这里只是强调一下,如果没有这个用户amoeba是无法完成代理的)MariaDB [(none)]> GRANT ALL ON *.* TOroot@'172.16.%.%' IDENTIFIED BY 'proxy';

MariaDB [(none)]> FLUSH PRIVILEGES;

Slave节点不需要添加用户,因为主节点创建完成从节点就自动复制过去了。

修改amoeba的dbServers.xml文件,指定读写节点,设置client连接proxy的相关信息[root@amoeba ~]# cat/usr/local/amoeba/conf/dbServers.xml

${defaultManager}

64

128

3306     #指定后端服务器的端口

mydb   #指定默认连接的数据库

root     #指定数据库用户名

proxy  #指定数据库密码

500

500

10

600000

600000

true

true

true

  #定义写数据库,这里不是真正的定义,在后面的amoeba.xml中定义才生效

172.16.4.136   #定义写服务器地址

     #定义读服务器

172.16.4.10   #定义读服务器地址

1   #设置调度方式,1为负载,2为加权,3为高可用

master,slave      #定义readPool池中的服务器,可以添加多个服务器,在后面的amoeba.xml统一调用

修改amoeba.xml设置读写分离相关配置[root@amoeba ~]# cat/usr/local/amoeba/conf/amoeba.xml

3306     #设置amoeba监听的端口

0.0.0.0  #设置amoeba监听的地址

${clientConnectioneManager}

128

64

root        #设置连接后端服务器的帐号

proxy  #设置连接后端服务器的密码

中间省略一大段内容……

${amoeba.home}/conf/functionMap.xml

1500

master   #设定默认数据库

master    #设定写数据库

readPool   #设定读数据库

true

这个时候就可以使用/usr/local/amoeba/bin/amoeba这个脚本启动amoeba了

但是启动amoeba报错,原因是栈太小了,最少228k[root@amoeba ~]# /usr/local/amoeba/bin/amoeba start

/usr/local/amoeba/bin/amoeba: line 14: uname:command not found

/usr/local/amoeba/bin/amoeba: line 37: dirname:command not found

The stack size specified is too small, Specify atleast 228k

Error: Could not create the Java Virtual Machine.

Error: A fatal exception has occurred. Program willexit.

解决方法:修改amoeba启动文件的57行的-Xss的值为512k[root@amoeba ~]# vim /usr/local/amoeba/bin/amoeba

ULT_OPTS="-server -Xms256m -Xmx256m-Xss512k"

设置完成启动amoeba[root@amoeba ~]# /usr/local/amoeba/bin/amoeba start

log4j:WARN log4j config load completed fromfile:/usr/local/amoeba/conf/log4j.xml

2015-05-26 23:58:05,165 INFO  context.MysqlRuntimeContext - Amoeba forMysql current versoin=5.1.45-mysql-amoeba-proxy-2.2.0

log4j:WARN ip access config load completed fromfile:/usr/local/amoeba/conf/access_list.conf

2015-05-26 23:58:05,558 INFO  net.ServerableConnectionManager - Amoeba forMysql listening on /0.0.0.0:3306.

2015-05-26 23:58:05,568 INFO  net.ServerableConnectionManager - AmoebaMonitor Server listening on /127.0.0.1:55854.

补充:启动的时候可以加&表示在后台运行,如下所示,这样不会占用前台

[root@amoeba ~]# /usr/local/amoeba/bin/amoeba start &

这个时候amoeba就配置完成了

2、5 抓包验证读写分离

连接amoeba写入数据,验证写请求是否发往Master服务器[root@amoeba ~]# mysql -uroot -pproxy -h172.16.4.100

mysql> create database test;

master抓包出现写入的数据的sql语句[root@master ~]# tcpdump -i eth0 -nn -XX tcp port3306

03:33:16.418983 IP 172.16.4.100.39625 >172.16.4.136.3306: Flags [P.], seq 25:52, ack 59, win 245, options [nop,nop,TSval 13988352 ecr 14759402], length 27

0x0000:  000c 29ba d792 000c 2922 c5c2 0800 4500  ..).....)"....E.

0x0010:  004f 5103 4000 4006 8899 ac10 0464 ac10  .OQ.@.@......d..

0x0020:  0488 9ac9 0cea 98ee 7151 8c41 0a32 8018  ........qQ.A.2..

0x0030:  00f5 c45d 0000 0101 080a 00d5 7200 00e1  ...]........r...

0x0040:  35ea 1700 0000 0363 7265 6174 6520 6461  5......create.da

0x0050:  7461 6261 7365 2074 6573 7464 62         tabase.testdb

在amoeba查询数据,验证读mysql> SELECT * FROM mysql.user;

Slave节点出现查询请求,如果再次查询可能在master节点出现,因为读请求是负载均衡的[root@slave ~]# tcpdump -i eth0 -nn -XX tcp port3306

02:43:15.645879 IP 172.16.4.100.39625 >172.16.4.136.3306: Flags [P.], seq 2565763465:2565763494, ack 2353076083, win336, options [nop,nop,TS val 14201044 ecr 14967401], length 29

0x0000:  000c 29ba d792 000c 2922 c5c2 0800 4500  ..).....)"....E.

0x0010:  0051 5108 4000 4006 8892 ac10 0464 ac10  .QQ.@.@......d..

0x0020:  0488 9ac9 0cea 98ee 7189 8c41 1773 8018  ........q..A.s..

0x0030:  0150 cf76 0000 0101 080a 00d8 b0d4 00e4  .P.v............

0x0040:  6269 1900 0000 0353 454c 4543 5420 2a20  bi.....SELECT.*.

0x0050:  4652 4f4d 206d 7973 716c 2e75 7365 72    FROM.mysql.user


http://chatgpt.dhexx.cn/article/cWu15glI.shtml

相关文章

amoeba mysql_使用Amoeba 实现MySQL DB 读写分离

Amoeba(变形虫)项目是一个开源框架,于2008年开始发布一款 Amoeba for MySQL软件; 这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发&am…

amoeba mysql_mysql中间件-amoeba

中间件:一种提供在不同技术、不同的软件之间共享资源的程序,更大化了利用了数据库的性能,可以无限扩展(注:真实环境中并非如此) 数据库的中间件: mysql proxy (官方版本)性能低,需要lua 脚本 atlas 性能低&…

Amoeba

1.介绍 Amoeba是mysql代理,增强mysql。类似的产品还有MyCat (mysql代理) 2.资源:点击打开链接c82k 3.准备:amoeba是基于java的所以必须有jdk 4.上传amoeba 5.解压tar包 6.配置文件 amoeba配置文件两个 dbServer…

Mysql基于Amoeba_读写分离搭架

一、Amoeba简介 Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求,依据用户事先设置的规则,将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求&#xff0…

mysql基于Amoeba(变形虫)实现读写分离

一,Amoeba介绍 1、什么是amoeba? ​ Amoeba(变形虫)项目,专注 分布式数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据…

Amoeba:开源的分布式数据库Porxy解决方案

什么是Amoeba? Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的 时候充当SQL路由功能,专注于分布式数据库代理层(Database …

findbugs html报告,利用findBugs插件来扫描代码,并用ant生成报告

最近项目要用findbugs插件来生成报告,总结了一下用法和如何生成报告 1, 把下载的压缩包解压后,把 copy到eclipse的plugin目录中去; 2, 重新启动eclipse 3, 打开eclipse->window->Preferences&#xf…

AS之Findbugs

一 前言 Findbugs是由 National Science Foundation支持的一个用静态分析的方式来寻找Java代码中Bug的项目,它是一个静态分析工具,它检查类或者jar文件,将字节码和一组缺陷模式进行对比以发现可能的问题。有了静态分析工具,就可以…

AndroidStudio中FindBugs的简单使用教程

对于代码质量的检查,一直是一个比较棘手的问题。虽然我们部门有关于java代码的各种规范,领导也多次强调对代码的评审。 但是在实际执行过程中,由于开发人员的水平参差不齐,在开发项目时还有各种其他因素,比如时间紧任…

maven项目集成findbugs详解

文章目录 0、概述一、接入方式二、如何使用方式一、在控制台中执行打包命令方式二、使用IntelliJ IDEA的maven工具(其他IDE用户忽略) 三、bug详情查看四、忽略指定的包、类、类中的方法步骤一、在pom.xml中 增加配置。步骤二、增加配置文件,用…

Findbugs maven 插件使用

Findbugs maven 插件使用 FindBugs™手册 http://findbugs.sourceforge.net/manual/index.html 0、概述 FindBugs是一个静态分析工具,它将**字节码(因此需要先编译)**与一组缺陷模式进行对比以发现可能的问题。有了静态分析工具,…

检查代码质量的插件Findbugs使用说明

一、简介 Findbugs是一个静态分析工具,它检查类或者jar文件,将字节码与一组缺陷模式进行对比以发现可能的问题。利用这个工具可以在不实际运行程序的情况下对软件进行分析。可以帮助改进代码质量。Findbugs提供了方便操作的可视化界面,同时也…

Findbugs的使用

转载请注明出处:http://blog.csdn.net/feibendexiaoma/article/details/72821781前言 Findbugs很多人都并不陌生,Eclipse中有插件可以帮助查找代码中隐藏的bug,IDEA中也有这款插件。这个插件可以帮助我们查找隐藏的bug,比较重要的功能就是查找…

android studio findbugs 过滤,Android Studio中使用FindBugs

1.什么是FindBugs 一句话简单理解就是:是一个工具,可以用它自动帮你找出代码中潜在的BUG。当然事实并不一定总是如此,也有很多它找不出来的地方。下面将直接介绍如何在Android Studio中的简单使用。有兴趣的童鞋可以自己去了解了解&#xff0…

FindBugs插件

官网 FindBugs官网:http://findbugs.sourceforge.net/ 插件安装 点击settings---->plugins---->Browse repositories 搜索框输入FindBugs-IDEA并点击右侧Install按钮 安装完毕后重启idea,发现左下角多了一个FindBugs图标 插件使用 在被检查文…

eclipse常用插件之FindBugs

1、简介 FindBugs 是由马里兰大学提供的一款开源 Java静态代码分析工具。FindBugs通过检查类文件或 JAR文件,将字节码与一组缺陷模式进行对比从而发现代码缺陷,完成静态代码分析。FindBugs既提供可视化 UI 界面,同时也可以作为 Eclipse插件使…

php findbugs,findBugs插件

现在使用Java进行开发的软件已经很多了,那么我们在使用Java开发的时候,是不是会遇到各种各样的错误了,有的错误隐藏着,有的错误你发现了,可以修改,那没有发现的错误就令人担忧了!小编这款插件就…

软件测试实验 FindBugs

1.配置 FindBugs 打开 Eclipse,通过【Window -> Preferences】下【Java -> FindBugs】查看 FindBugs的 配置情况。问题: 这里可以配置 FindBugs的哪些特性? 选择导入的项目,通过【Window -> Preferences】下【Java -> FindBugs…

Findbug使用指南

Findbug使用指南 findbugs是一个开源的eclipse 代码检查工具;它可以简单高效全面地帮助我们发现程序代码中存在的bug,bad smell,以及潜在隐患。针对各种问题,它并且提供了简单的修改意见供我们重构时进行参考; 通过使…

findbugs用法教程

代码分析工具FindBugs详细配置使用教程 一,关于FindBugs (1) FindBugs 是由马里兰大学提供的一款开源 Java 静态代码分析工具,它检查类或者 JAR 文件,将字节码与一组缺陷模式进行对比以发现可能的问题(先对编译后的class进行扫描,…