Flyway详解(使用说明及避坑指南、一文搞懂flyway)

article/2025/11/10 10:12:10

一、简介

1.1 Flyway是什么?

Flyway是一款开源的数据库版本管理工具,可以实现管理并跟踪数据库变更,支持数据库版本自动升级,而且不需要复杂的配置,能够帮助团队更加方便、合理的管理数据库变更。
例:创建两个sql变更文件,项目启动后会将两个文件中的sql语句全部执行。

1.2 为什么使用Flyway?

简单举个例子:开发时,如果A开发和B开发都对同一数据库进行了修改,那么如何进行数据同步呢?假如多个开发人员都修改了sql脚本,怎么同步到测试环境和生产环境?
类似于以上的情况在日常开发中不胜枚举,在最开始的单体架构中,我们公司采用了通过校验数据库版本号来实现sql的变更,这虽然能够解决大部分问题,但每次都需要维护变更sql的代码和数据库版本号,且对于后续服务上云也是十分不便的。因此我们需要对数据库校验的方案进行调整,就去调研了目前市面上比较流行的Flyway和Liquibase,综合对比下来,最终选择了Flyway作为后续的数据库版本管理工具,具体差异如下:
在这里插入图片描述

1.3 Flyway的工作原理

Flyway在第一次执行时,会创建一个默认名为flyway_schema_history的历史记录表,这张表会用来跟踪或记录数据库的状态,然后每次项目启动时都会自动扫描在resources/db/migration下的文件的版本号并且通过查询flyway_schema_history来判断是否有新增文件,从而判断是否进行迁移。
默认的查找 migration 的路径为 classpath:db/migration ,对应 SQL 文件可放置在src/main/resources/db/migration 下,Java 类可放置在 src/main/java/db/migration 下。
Flyway在第一次执行时,会创建一个默认名为flyway_schema_history的历史记录表,这张表会用来跟
踪或记录数据库的状态,然后每次启动时都会自动扫描在resources/db/migration下的文件并且通过查
询flyway_schema_history来判断是否为新增文件,从而判断是否进行迁移。
默认的查找 migration 的路径为 classpath:db/migration ,对应 SQL 文件可放置在
src/main/resources/db/migration 下,Java 类可放置在 src/main/java/db/migration 下

1.3.1 Flyway的校验版本号算法

flyway在升级数据库时会先计算之前已经升级过的脚本的checksum值和数据库的checkSum值进行比对,如果老脚本发生了变化后checkSum校验就会失败,从而抛出异常,checkSum计算算法为(CRC32 (循环冗余校验码)算法)。
新增的脚本则会和数据库中的版本号进行比较,如果小于数据库存储的最后一个版本号,也不会继续执行。

1.3.2 Flyway的锁机制

Flyway使用数据库锁机制(locking technology of your database)来协调多个节点,从而保证多套应用程序可同时执migration,而且集群控制也可做配置。基于数据库锁机制实现分布式锁有两种,基于数据库表和基于数据库排他锁,Flyway采用的是基于数据库排他锁。

排他锁(Exclusive Locks,简称X锁),又称为写锁、独占锁,在数据库管理上,是锁的基本类型之一。若
事务T对数据对象A加上X锁,则只允许T读取和修改A,其他任何事务都不能再对A加任何类型的锁,直到T释放
A上的锁。这就保证了其他事务在T释放A上的锁之前不能再读取和修改A

源码如下:

@Override
public <T> T lock(Table table, Callable<T> callable) {if (database.isPxcStrict()) {return super.lock(table, callable);
}return new MySQLNamedLockTemplate(jdbcTemplate,table.toString().hashCode()).execute(callable);
}
@Override
protected void doLock() throws SQLException {jdbcTemplate.execute("SELECT * FROM " + this + " FOR UPDATE");
}
private boolean tryLock() throws SQLException {return jdbcTemplate.queryForInt("SELECT GET_LOCK(?,10)", lockName) == 1;
}

1.3.3 Flyway连接数据库

flyway使用JDBC连接数据库

private boolean hasUserVariableResetCapability() {try {jdbcTemplate.queryForStringList(userVariablesQuery);return true;} catch (SQLException e) {LOG.debug("Disabled user variable reset as " + (database.isMariaDB() ? USER_VARIABLES_TABLE_MARIADB :USER_VARIABLES_TABLE_MYSQL)+ "cannot be queried (SQL State: " + e.getSQLState() + ",Error Code: " + e.getErrorCode() + ")");return false;
}
}

1.3.4 Flyway的启动速度

耗时主要来源两个方面
(1).Flyway依次读取脚本中内容时的IO开销
(2).Flyway计算脚本checksum值的算法开销
对于IO开销而言,每个脚本如果不是涉及大量的数据变更,只是表结构的变更,脚本的大小都非常小,可以不考虑。

二、Flyway的使用

接下来就进入正题了,flyway该如何使用呢?
以下是Java的使用方式。

2.1 添加依赖

<dependency><groupId>org.flywaydb</groupId><artifactId>flyway-core</artifactId><version>6.5.7</version>
</dependency>

2.2 添加配置

java
spring:flyway:#是否启用enabled: true# 可以支持多个location,','隔开locations: classpath:db/migration#是否创建元数据表validate-on-migrate: true# flyway 的 clean 命令会删除指定 schema 下的所有 table, 生产务必禁掉。这个默认值是false 理论上作为默认配置是不科学的。clean-disabled: true# 如果数据库不是空表,需要设置成 true,否则启动报错baseline-on-migrate: true# 版本控制日志表,默认flyway_schema_history,不同系统建议修改数据# table: flyway_schema_history

2.3 创建sql文件

在这里插入图片描述

2.4 启动项目即可

三、Flyway详解

3.1 命令行

1.常用命令Migrate, Clean, Info, Validate, Baseline, Repair。

2.Migrate是指把数据库默认数据库迁移到最新版本。

3.Clean这个命令会清除指定库下所有的对象,包括table、view、triggers…,让数据库变成空的状态。

4.info用于打印所有Migrations的详细和状态信息。

5.Validate是指验证已经应用的Migrations是否有变更,Flyway是默认是开启验证的。

6.Baseline针对已经存在表结构的数据库的一种解决方案,即实现在非空数据库中新建Metadata表,并把Migrations应用到该数据库。

7.Repair操作能够修复Metadata表,该操作在Metadata表出现错误时是非常有用的。

8.Repair会修复Metadata表的错误,通常有两种用途:
①移除失败的Migration记录,该问题只是针对不支持DDL事务的数据库。
②重新调整已经应用的Migratons的Checksums值,比如:某个Migratinon已经被应用,但本地进行了修改,又期望重新应用并调整Checksum值,不过尽量不要这样操作,否则可能造成其它环境失败。

3.2 配置行

flyway配置详解
flyway.baseline-description对执行迁移时基准版本的描述.
flyway.baseline-on-migrate当迁移时发现目标schema非空,而且带有没有元数据的表时,是否自动执
行基准迁移,默认false.
flyway.baseline-version开始执行基准迁移时对现有的schema的版本打标签,默认值为1.
flyway.check-location检查迁移脚本的位置是否存在,默认false.
flyway.clean-on-validation-error当发现校验错误时是否自动调用clean,默认false.
flyway.enabled是否开启flywary,默认true.
flyway.encoding设置迁移时的编码,默认UTF-8.
flyway.ignore-failed-future-migration当读取元数据表时是否忽略错误的迁移,默认false.
flyway.init-sqls当初始化好连接时要执行的SQL.
flyway.locations迁移脚本的位置,默认db/migration.
flyway.out-of-order是否允许无序的迁移,默认false.
flyway.password目标数据库的密码.
flyway.placeholder-prefix设置每个placeholder的前缀,默认${.
flyway.placeholder-replacementplaceholders是否要被替换,默认true.
flyway.placeholder-suffix设置每个placeholder的后缀,默认}.
flyway.placeholders.[placeholder name]设置placeholder的value
flyway.schemas设定需要flywary迁移的schema,大小写敏感,默认为连接默认的schema.
flyway.sql-migration-prefix迁移文件的前缀,默认为V.
flyway.sql-migration-separator迁移脚本的文件名分隔符,默认__
flyway.sql-migration-suffix迁移脚本的后缀,默认为.sql
flyway.tableflyway使用的元数据表名,默认为schema_version
flyway.target迁移时使用的目标版本,默认为latest version
flyway.url迁移时使用的JDBC URL,如果没有指定的话,将使用配置的主数据源
flyway.user迁移数据库的用户名
flyway.validate-on-migrate迁移时是否校验,默认为true.

3.3 执行方式

Flyway 的 migration 会在 Spring Boot 应用启动时自动执行,如果不想通过启动应用的方式执行,官方
提供了命令行、API、以及 Maven 和 Gradle 插件的方式,但总的来说都会麻烦一些,因为需要将已经
在 Spring Boot 中配置的参数,再到其他执行方式所各自要求的位置重新配置一遍,实用性一般。

3.4 sql脚本命名规则

1.仅需要执行一次的,以大写“V”开头,V+版本后(版本号间的数字以“.” 或者“ _ ”分隔开,“ _ ”会自动编译
成 “ . ” )+" __"+文件描述+后缀名
2.需要执行多次的,以大写“R”开头,命名如R__clean.sql ,R的脚本只要改变了就会执行,R不带版本号
3.V开头的比R开头的优先级要高。

前缀:用于版本控制(可配置)、撤消(可配置)和可重复迁移(可配置)VUR)
版本:带有点或下划线的版本可根据需要分隔任意数量的部分(不适用于可重复的迁移)
分隔符:(两个下划线)(可配置)__)
说明:下划线或空格分隔单词
后缀:(可配置.sql)
(可选)版本控制 SQL 迁移还可以省略分隔符和说明

在这里插入图片描述

四 开发时注意事项

1.报错后需要删除flyway_schema_history中记录,否则启动失败
2.V的优先级高于R,假如三个V迁移脚本和一个R(无论新建还是修改)一起执行,其中一个V报错,则V会
全部执行完成且记录到flyway_schema_history中,而R不执行且不记录,删除表中报错记录后,查询启
动,则执行原错误V和未执行的R
3.多个要执行的R中,如果出现了其中一个出现了错误,则在其后的R都不执行
4.R的执行顺序根据命名来进行排序
5.一个文件中ddl并不由一个事务管理,比如创建三个表,中间创建表语句报错,则第一个表还是会创建
成功并且提交事务
6.已经执行过的迁移文件(V)不能修改,否则报错。
7.同一个迁移文件下同表内DDL无法回滚,DML可回滚, 从报错点开始不往下执行,Flyway使用数据库锁
机制
8.版本号相同会报错(Found more than one migration with version 1.0.0.9)
9.同一个迁移文件下假设都是dml,那么如果中间出现错误,所有的dml语句都会回滚
10.删除sql文件后启动会报错,报错如下:

If you removed this migration intentionally, run repair to mark the migration as
deleted.

五、部署上线时注意事项

  1. 如果不手动创建元数据表,则需要进行以下配置,用于自动创建
    validate-on-migrate: true
    If you removed this migration intentionally, run repair to mark the migration as
    deleted.
  2. 如果数据库不是空表,则需进行以下配置,否则启动报错
    baseline-on-migrate: true
  3. clean命令会删除数据库中所有表,包括数据,结构等,这是不合理的,所以需要进行以下配置
    clean-disabled: true (该配置由于默认值不合理,所以在V9版本中修改默认值由false为true)
  4. 使用flyway要注意版本兼容问题,springboot与flyway,flyway与数据库版本,否则启动报错
  5. 如果启动的时候像忽略某些迁移文件,可进行以下参数配置
    baseline-version=20210809,以忽略 20210809 版本以及之前的所有 migration
  6. 多人开发中,如果一个人提交V2一个人提交V1,而V2先入库执行了,那么V1入库就不会执行,如
    果需要执行则需进行如下配置,但是不建议这么做
    out-of-order=true

六、 支持的数据库版本

目前支持mysql5.7的社区版为7.15.0,支持mysql8.0的版本是8.2.0,8.2.1移除了mysql支持,如文档原
文:

Extract MySQL code to plugin. This will need to be added as a new dependency.

flyway的8.2.1版本移除mysql的解决方案,增加依赖:

<dependency><groupId>org.flywaydb</groupId><artifactId>flyway-mysql</artifactId>
</dependency>

七、总结

Flyway的引用确实方便了后续我们团队的数据库版本管理,但各个团队使用场景皆有不同,所以本文只供想要学习Flyway的朋友借鉴,另:flyway的社区版同专业版相比也是有一些区别的,类似下面的两个方面,所以在选择Flyway时需考虑引入对整体架构的提升,本文分享到这里结束,感谢大家耐心观看。
①社区版目前不支持版本回退
②社区版本没有任务队列和异步任务的支持,所以在大量变更时略有风险,尽量拆分


http://chatgpt.dhexx.cn/article/J4a07kYB.shtml

相关文章

MySQL数据库的集群解决方案(一)

读写分库架构 我们一般应用对数据库而言都是“读多写少”&#xff0c;也就说对数据库读取数据的压力比较大&#xff0c;有一个思路就是说采用数据库集群的方案&#xff1a; 其中一个是主库&#xff0c;负责写入数据&#xff0c;我们称之为&#xff1a;写库&#xff1b; 其它都是…

MySQL数据库集群实战(1)——MySQL数据库基础知识

文章目录 一、为什么使用数据库&#xff1f;二、数据库概念数据库&#xff08;DataBase&#xff0c;DB&#xff09;数据库管理系统&#xff08;DataBase Management System&#xff0c;DBMS&#xff09;SQL概述 三、数据库存储文件的特点四、MySQL常见的数据对象五、MySQL数据类…

mysql-集群概述

mysql-主从模式 mysql-集群概述 可用性设计 站点高可用&#xff0c;冗余站点服务高可用&#xff0c;冗余服务 数据高可用&#xff0c;冗余数据 保证高可用的方法是冗余。但是数据冗余带来的问题是数据一致性问题 实现高可用的方案有以下几种架构模式&#xff1a; 主从模式 简…

MySQL数据库集群的原理与搭建

【1.应用背景】 在最近做的项目中&#xff0c;因为有一个短时间内很多人访问服务&#xff0c;会频繁访问数据库&#xff0c;看到这里不免有些人会想起数据库集群。我们组长也想到了用数据库集群&#xff0c;于是就带着我们几个研究起来了mysql数据库集群的搭建。因为我们几个的…

MySQL 数据库主从集群搭建

文章目录 1 准备工作2 配置主数据库3 配置从库4 从库设置只读用户5 推荐参考资料 1 准备工作 1 选择一个服务器当做主服务器&#xff0c;将服务器上需要的数据进行备份 2 安装从库的 MySQL&#xff0c;需要与主服务器的版本保持一致 3 将主服务器上的数据同步到从库中(主从集…

MySQL数据库主从集群架构搭建

一、相关概念 二、配置一主一从 三、配置一主多从 四、配置主从从 五、配置主主结构 六、配置半同步复制模式 一、相关概念 1.1 主从同步介绍&#xff1a; 存储数据的服务结构&#xff0c;分为2种角色&#xff1a; 主服务器(master)&#xff1a;接受客户端访问连接 从服务器(sl…

谈谈mysql数据库集群

现在&#xff0c;随着上网人数的激增&#xff0c;一些大型的网站开始使用数据库集群来提高数据库的可靠性和数据库的性能。那么在介绍数据库集群之前首先需要弄清楚几个问题。 1.为什么要用数据库集群 &#xff08;1&#xff09;通过使用数据库集群可以使读写分离&#xff0c;提…

MySQL集群配置

1. MySQL集群简介 MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎&#xff0c;允许在1个 Cluster 中运行多个MySQL服务器。MySQL Cluster 是一种技术&#xff0c;该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。…

MySQL数据库集群(双主双从)

文章目录 MySQL数据库集群(双主双从)实验环境双主双从双主双从进行测试 MySQL数据库集群(双主双从) 实验环境 保证每台centos7服务器配置静态的IP&#xff0c;初始化服务器&#xff0c;关闭防火前和selinux,保证四台服务器之间可以互相通信&#xff0c;并且做好hosts域名解析…

数据库与集群

数据库与集群 1、数据库集群 概念&#xff1a;数据库集群&#xff0c;顾名思义&#xff0c;就是利用至少两台或者多台数据库服务器&#xff0c;构成一个虚拟单一数据库逻辑映像&#xff0c;像单数据库系统那样&#xff0c;向客户端提供透明的数据服务。 数据库集群两个关键定…

数据库-mysql集群方案总结

一 概念解读 1 数据库高可用 高可用指的是&#xff1a;如果数据库发生了宕机或者意外中断等故障&#xff0c;能尽快恢复数据库的 可用性&#xff0c;保证业务不会因为数据库的故障而中断。 另外&#xff0c;数据库高可用还要数据一致性&#xff0c;如下: (1) 用作备份、只读副…

数据库集群

目录 主从复制集群单机数据库的问题单机到集群主从复制传统主从复制异步复制半同步复制 组复制&#xff08;MGR MySQL Group Replication MGR &#xff09; 主从复制演示准备两个MySQL服务实例修改主数据库MySQL_A的my.ini中的[mysqld]配置项下的配置如下修改从数据库MySQL_B的…

MySQL数据库的集群方案

1.简介 我们一般应用对数据库而言都是“读多写少”&#xff0c;也就说对数据库读取数据的压力比较大&#xff0c;有一个思路就是说采用数据库集群的方案&#xff1a; 其中一个是主库&#xff0c;负责写入数据&#xff0c;我们称之为&#xff1a;写库&#xff1b; 其它都是从库&…

MySQL集群解决方案(1):MySQL数据库的集群方案

1、系统架构存在的问题 在我们的系统架构中&#xff0c;DBserver方面我们只是使用了单节点服务&#xff0c;如果面对大并发&#xff0c;海量数据的存储&#xff0c;显然单节点的系统架构将存在很严重的问题&#xff0c;所以接下来&#xff0c;我们将实现MySQL的集群&#xff0c…

C语言回调函数详解及实例

C语言回调函数详解及实例 回调函数&#xff1a;函数 F1 调用函数 F2 的时候&#xff0c;函数 F1 通过参数给函数 F2 传递了另外一个函数 F3 的指针&#xff0c;在函数 F2 执行的过程中&#xff0c;函数F2 调用了函数 F3&#xff0c;这个动作就叫做回调&#xff08;Callback&…

回调函数

什么是回调函数? 有以下三点 1、自己创建的函数&#xff1b; 2、没有调用&#xff1b; 3、但是函数执行了&#xff08;在某个条件下&#xff09;。 例如&#xff1a; 1.定时器函数 var a 1setItercal( function(){aconsole.log(a)},1000)//延时器var a 1setTimeout( functi…

C++中回调函数的一个简单例子?

回调函数应用实例&#xff1a; 1、定义一个Person类 &#xff08;Person.h&#xff09;文件&#xff1a; 注意&#xff1a;在这个类中指定了回调函数&#xff0c;回调函数的执行者&#xff0c;和回调函数指针 重要的是 回调函数和回调函数指针是怎么关联的&#xff1f; 2、…

一个简单的jQuery回调函数例子

欢迎扫码加入Java高知群交流 jQuery回调函数简单使用 比如说&#xff0c;我们想要点击某个按钮后触发事件&#xff0c; 先把一些指定内容给隐藏掉&#xff0c; 然后跳出相关信息的对话框。 如果使用普通的方法&#xff0c; 不用回调函数的话&#xff0c; 会有怎么样的效…

【C语言】回调函数

目录 前言 一、回调函数是什么&#xff1f; 二、使用步骤 1.举例 2.库函数中的例子 3.模拟实现qsort()函数 前言 随着我们对C语言的学习以及对指针更加深入的了解&#xff0c;我们避免不了接触到回调函数&#xff0c;以下是关于回调函数的知识分享。 一、回调函数是什么…

C语言回调函数一个简单的例子

回调函数通俗的解释&#xff1a; 普通函数&#xff1a;你所写的函数调用系统函数&#xff0c;你只管调用&#xff0c;不管实现。 回调函数&#xff1a;系统调用你所写的函数&#xff0c;你只管实现&#xff0c;不管调用。 以下是使用&#xff23;语言实现回调函数的一个例子&a…