数据库同步有哪些方式？【怎么保障目标和源数据一致性】

article/2025/9/11 23:07:52

文章目录

  • 摘要
  • 一、几种主流的数据库同步方式
  • 二、架构及工作原理
  • 三、全量同步和实时增量同步机制
  • 四、源和目标
  • 五、举例：Oracle 数据实时同步到 Elasticsearch
  • 六、目标和源数据一致性
  • 七、异构数据类型转换
  • 八、总结

摘要

数据库同步有3大难题：
1是如何保障目标和源数据一致性；
2是异构数据库如何做数据类型转换，导致数据同步失败的原因常常是因为数据类型不一样；
3是在数据越实时越有价值的背景下，同步过程中能否做到实时同步。

一、几种主流的数据库同步方式

方式一：基于无侵入的日志模式(如Oracle redo、Mysql binlog）
基于日志的采集方式无需在源库端部署任务代理程序(Agent)及建任何表，对源数据库无侵入和影响压力；

方式二：基于时间戳
同步过程通过特定属性（如时间戳、自增序列）来识别新插入的数据，该方式实现最简单，但无法记录删除和更新，也不具备实时的能力；

方式三：基于触发器
基于数据库的触发器机制，当执行DML相关语句时，执行动作来捕获数据，该方式会降低系统能，因此大多数场景下，生产系统不允许添加触发器。

方式四：基于快照
基于快照的方式，可以通过比较源表和快照表来获得数据变化，但需要消耗大量存储空间和计算资源。

方式五：基于离线批处理
通过jdbc查询来批量获取数据，会进行数据表的大范围扫描和数据提取，会对数据库产生大量开销。

本文主要探讨无侵入的CDC模式，并以运用这种模式的数据库同步云工具 Tapdata Cloud 举例，你要问我为啥用它举例，原因只有一个：永久免费。

二、架构及工作原理

Tapdata Cloud包含两部分：

  1. Tapdata Cloud Manager，TCM是Tapdata Cloud的管理端，负责agent实例的安装，同步任务的配置、分发、任务状态监测。
  2. Tapdata agent，是Tapdata Cloud数据同步服务的执行实例，负责从TCM获取任务信息，通过流式技术从源系统获取数据、处理转换数据并发送到目标系统，并在任务执行过程中监测并上报任务状态至TCM。

在这里插入图片描述

（Tapdata Cloud 工作原理图）

有朋友可能会担心这个云平台会不会把我要同步的数据泄露出去？

从Tapdata Cloud 工作原理上可以看出：

  1. 同步实例节点单向连接管控端运行服务。 Tapdata agent实例节点对外不主动暴露网络信息，只会连接 TCM管理端服务，获取任务信息、上报状态信息。
  2. 用户部署的Tapdata agent实例节点和 TCM 通信链路采用 HTTPS 协议。
  3. 自建模式下，所有数据流转均发生在受用户管理的服务器和网络环境。
    可见，数据同步过程中数据泄露的问题大可不必担忧。

三、全量同步和实时增量同步机制

Tapdata Cloud 这款云同步工具支持全量同步和实时增量同步，实现的过程如下图所示：
在这里插入图片描述

四、源和目标

据 Tapdata Cloud 最新版本，目前支持了：

数据库版本作为源作为目标是否可用
mysql5.x，8.x支持支持是
oracle9i, 10g, 11g, 12c支持支持是
sqlsever2005, 2008, 2012, 2014, 2016, 2017支持支持是
mongodb3.2, 3.4, 3.6, 4.0, 4.2支持支持是
PostgreSQL9.x, 10.x，11.x，12.x，13.x支持支持是
Elastic5.x, 6.x, 7.x暂不支持支持是
达梦数据库7,8支持支持是
Kafka2.3.x及以上暂不支持支持是
Redis2.x, 3.x, 4.x暂不支持支持即将上线
DB29.7 LUW版本支持支持即将上线
SybaseSybase ASE 15.7 及以上支持支持即将上线
Gbase支持支持即将上线

五、举例：Oracle 数据实时同步到 Elasticsearch

一般需要做全文检索的时候，会将 Oracle 数据实时同步到 Elasticsearch。

第一步：配置 Oracle 连接

  1. 点击 Tapdata Cloud 操作后台左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择Oracle
    在这里插入图片描述
  1. 在打开的连接信息配置页面依次输入需要的配置信息
    在这里插入图片描述

【连 接 名 称】：设置连接的名称，多个连接的名称不能重复
【数据库地址】：数据库 IP / Host
【端 口】：数据库端口
【数据库名称】：tapdata 数据库连接是以一个 db 为一个数据源。这里的 db 是指一个数据库实例中的 database，而不是一个 schema。
【账 号】：可以访问数据库的账号
【密 码】：数据库账号对应的密码
【时 间 时 区】：默认使用该数据库的时区；若指定时区，则使用指定后的时区设置

第二步：配置 Elasticsearch 连接

  1. 同第一步操作，点击左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择Elasticsearch
    在这里插入图片描述
  1. 在打开的连接信息配置页面依次输入需要的配置信息，配置完成后测试连接保存即可。
    在这里插入图片描述

第三步：建立同步任务，以全量+增量同步举例
进入Tapdata Cloud 操作后台任务管理页面，点击添加任务按钮进入任务设置流程
在这里插入图片描述

根据刚才建好的连接，选定源端与目标端。
在这里插入图片描述

根据数据需求，选择需要同步的库、表，如果你对表名有修改需要，可以通过页面中的表名批量修改功能对目标端的表名进行批量设置.
在这里插入图片描述

在以上选项设置完毕后，点击下方的全量+增量选项并点击确定按钮即可完成本次全量同步任务的配置，在点击确定后将自动返回任务管理页面，在任务管理页面中，点击右侧的启动按钮即可使Tapdata Agent 开始执行本次任务。在全量任务执行完毕后，Tapdata Agent 会自动进入增量同步状态。在该状态中，Tapdata Agent 会持续监听源端的数据变化（包括：写入、更新、删除），并实时的将这些数据变化写入目标端。

在这里插入图片描述

点击任务监控可以打开任务执行详情页面，可以查看任务执行的具体信息。
在这里插入图片描述

同理，其他数据库的同步操作也跟上面步骤一致，比如几个常用的场景是：
• 从业务数据库到缓存数据库的实时同步
• 不停机迁移数据库
• 将主业务中心的数据实时同步至次业务中心
• 构建只读实例
• 构建异地灾备中心
• 构建异地多活

六、目标和源数据一致性

很多人都担心同步的数据可能没法和源数据一致，Tapdata Cloud 提供了数据校验功能，包括快速count校验、表全字段值校验和关联字段值校验三种校验方式。
• 快速count：仅对源表和目标表的行数进行count校验，速度极快，但是不会展示差异的具体字段内容。
• 全表字段值校验：会对源表和目标表的全部字段进行逐行校验，能查出所有字段的差异，但是速度慢。
• 关联字段值校验：只对源表和目标表的关联字段的值进行比对校验，速度快于全表字段值校验模式。
校验操作步骤
进入数据校验菜单，点击新建校验任务创建数据校验。
【选择任务】：选择一个历史同步任务
【校验类型】：可选 快速count校验、表全字段值校验和关联字段值校验
【校验任务名】：默认与选择的同步任务名字一样
【校验频次】：设置您的校验的执行频次
【单次校验】：只执行一次校验
【重复校验】：设置校验任务重复执行，支持设置校验执行的起止时间和校验间隔
【错误数据保存条数】：当出现校验不一致的数据时，不一致数据保存的最大条数。该数值会影响到差异校验，当错误数据条数超出设置的保存条数时，将无法进行差异校验。
【校验条件】：添加需要进行校验的表。点击自动添加会自动将任务下的所有表全部添加进来。

快速count校验

创建快速count校验时只需要选择到要校验的表，无需设置关联条件。
在这里插入图片描述

表全字段值校验

除了要选择待校验表外，还需要针对每一个表设置索引字段。
在这里插入图片描述

在进行表全字段值校验时，还支持进行高级校验。通过高级校验可以添加JS校验逻辑，对源和目标的数据进行校验。

在这里插入图片描述

完整示例：以MongoDB查询示例

JavaScript

function validate(sourceRow){// 第1步var targetRow = target.executeQuery({database: "target",collection: "USER",filter: {USER_ID: sourceRow.USER_ID}});// 第2步if(sourceRow.USER_ID === targetRow[0].USER_ID){// 第3步return {result: 'passed',message: "",data: ""}}else{return {result: 'failed',message: "记录不一致",data: targetRow}}
}

在这里插入图片描述

关联字段值校验

创建关联字段值校验时，除了要选择待校验表外，还需要针对每一个表设置索引字段。
在这里插入图片描述

七、异构数据类型转换

在异构数据库之间做同步，类型转换是一大难题，也是导致数据同步失败的重要原因，Tapdata Cloud 类型映射功能，在系统推演的基础上，提供了人工调整的能力，这一点比其他数据同步工具都更方便使用。
在这里插入图片描述

八、总结

为了达到数据实时要求，并且不对源库造成干扰，首选 CDC 模式。
现在市面上已经陆续出现了一些数据同步工具，完全没有必要自己撸代码了，免费的用起来不香吗？
希望上文的实操图文，对你的数据库同步有帮助，有数据库相关的问题可以随时跟我交流！


http://chatgpt.dhexx.cn/article/i1n2Dx7d.shtml

相关文章

数据技术篇之数据同步

数据技术篇之数据同步

第3章 数据同步 1.数据同步基础 直连同步 （1）什么是直连同步？直连同步是指通过定义好的规范接口 API 和基于动态链接库的方式直接连接业务库，如 ODBC/JDBC 等规定了统 一规范的标准接口，不同的数据库基于这套标准接口…
阅读更多...
聊聊数据同步方案

聊聊数据同步方案

文章目录 常用的数据同步方案数据库迁移场景数据同步场景应用代码中同步定时任务同步通过MQ实现同步通过CDC实现实时同步 CDC（change data capture，数据变更抓取）Canal基于日志增量订阅&消费支持的业务工作原理Mysql主备复制实现Canal架构…
阅读更多...
大数据之路——数据同步

大数据之路——数据同步

三、数据技术篇—— 数据同步 3.1 数据同步基础 3.1.1 直连同步3.1.2 数据文件同步3.1.3 数据库日志解析同步 3.2 数据仓库同步方式3.2.1 批量数据同步3.2.2 实时数据同步 3.3 同步遇到的问题3.3.1 分库分表3.3.2 增量全量同步的合并3.3.3 数据漂移的处理 有多种不同应用场景&…
阅读更多...
关于数据同步的几种实现

关于数据同步的几种实现

关于数据同步的几种实现 概述 关于数据同步主要有两个层面的同步，一是通过后台程序编码实现数据同步，二是直接作用于数据库，在数据库层面实现数据的同步。通过程序编码实现数据同步，其主要的实现思路很容易理解，即有…
阅读更多...
数据同步技术

数据同步技术

本次旨在分享数据同步技术的相关知识点，包括数据同步概述、数据同步工具、数据库、数据同步到大数据平台。 首先来介绍一下数据同步的概念： 数据同步是为保持数据源与目的地数据一致性而进行的数据传输、处理的过程。 数据同步的场景： 1、主…
阅读更多...
几种常见的数据同步方式

几种常见的数据同步方式

数据仓库的特性之一是集成，即首先把未经过加工处理的、不同来源的、不同形式的数据同步到ODS层，一般情况下，这些ODS层数据包括日志数据和业务DB数据。对于业务DB数据而言(比如存储在MySQL中)，将数据采集并导入到数仓中(通常是Hive…
阅读更多...
内网穿透frpc ,frps的使用

内网穿透frpc ,frps的使用

情况是这样的，公司内网中一个设备接了路由器下发的地址，内网地址是192.168.1.100，可以访问我的台式机，但我的台式机访问192.168.1.100是无法连通的 这种情况下，在我机器上运行frps.exe，frps.ini如下 [com…
阅读更多...
Frp内网穿透——frps服务端部署

Frp内网穿透——frps服务端部署

由于现在IPv4地址的短缺，在国内不可能每个设备都会分配到一个公网IP，因此从公网中访问自己的私有设备向来是一件难事儿。本次带大家了解一下frp内网穿透的服务端教学，让你也能够部署一个内网穿透服务。 frp简介 通俗的说，frp是一…
阅读更多...
记一次使用frpc/frps进行内网穿透

记一次使用frpc/frps进行内网穿透

1. 前提条件： 有一个公网ip，这里用x.x.x.x代替 2. 配置 【服务器端】 S_NUMBER是一个端口号 #服务端口 bind_port S_NUMBER #监听地址 bind_addr 0.0.0.0 #认证token token xxxx【客户端】(也就是需要被内网穿透的服务器) C_NUMBER是一个端口号 …
阅读更多...
内网穿透神器Frps一键安装脚本及设置教程

内网穿透神器Frps一键安装脚本及设置教程

frps 是一个高性能的反向代理应用，可以帮助您轻松地进行内网穿透，对外网提供服务，支持 tcp, http, https 等协议类型，并且 web 服务支持根据域名进行路由转发。 *因为frps是go语言写的，所以在路由器上使用的时候&#…
阅读更多...
frpc和frps 内网穿透越狱插件

frpc和frps 内网穿透越狱插件

内网穿透、frp、frpc、frps https://zhaoboy9692.github.io/repo 越狱源 https://zhaoboy9692.github.io/repo 苦于在ios越狱下没有frp穿透使用 特地开发了的越狱插件 基于最新frp0.48编译 ios14.6测试没问题 有问题及时反馈
阅读更多...
使用frps和frpc实现内网穿透

使用frps和frpc实现内网穿透

内网穿透的作用包括跨网段访问一个局域网中的一台主机。 如上图，假设我们想要通过主机A访问主机C，但是主机A和主机C绑定的都是私有ip地址，所以它们之间是无法直接进行通信的。要想使得A和C能够进行通信，就需要用到内网穿透的技术。…
阅读更多...
frp服务端(frps) 安装及使用

frp服务端(frps) 安装及使用

FRP官方文档 https://gofrp.org/docs/ 服务端安装 环境 ubuntu 22.04 下载 Github 的 Release 中下载到最新版本的客户端和服务端二进制文件 可以指定你的目录，这里用 /usr/local/frp cd /usr/local/frp wget https://github.com/fatedier/frp/releases/dow…
阅读更多...
CentOS Frp内网穿透：Frps+Nginx反向代理

CentOS Frp内网穿透：Frps+Nginx反向代理

目录 服务器使用配置 一、Nginx安装 二、Frps安装 三、frpc安装 服务器使用配置 CentOS 7.6 CPU: 2核 内存: 4GB 一、Nginx安装 参考《Centos配置Nginxtomcat》，这里就不做过多阐述 二、Frps安装 这里使用的是阿里源 #下载脚本 wget https://code.aliyun.com…
阅读更多...
nginx反向代理frps frpc穿透

nginx反向代理frps frpc穿透

frps 和 nginx 在同一台机器，假设ip192.168.166.17 1. frps服务器端配置 测试时，frps服务器跟nginx在同一台机器(192.168.166.17)，理论上可以不在同一台机器，nginx可以代理http请求，发给frps服务端。 frps.ini # fr…
阅读更多...
利用空闲服务器搭建frps服务端-实现穿透代理

利用空闲服务器搭建frps服务端-实现穿透代理

利用frps代理Tcp或者udp或其它类型的连接 1、什么是frps/frpc frps是代理的服务端、frpc是代理的客户端，使用方数据传输到服务端，服务端再将数据传输到提供方，从而达到相互访问的目的。 2、什么是穿透 穿透就是客户端A和客户端B都没有公网…
阅读更多...
利用frps进行内网穿透

利用frps进行内网穿透

这里使用的是传统穿透方法，需要一个有公网ip的中转节点去告知 看最下面，用最新版的frps 1、注意 服务器和客户机之间的数据传输全部经过中转服务器，传输速度将受制于中转服务器的上下行带宽。 2、穿透原理 其实就是客户端A绑定端口发送数…
阅读更多...
使用frps建立内网穿透从而实现外界连接内网电脑的全教程

使用frps建立内网穿透从而实现外界连接内网电脑的全教程

1. 说明 我有台服务器，但它在内网里，我需要通过ssh方式访问它，目前可以采用：向日葵等商业软件，RustDesk等开源软件。或者，《自建内网穿透服务器》。 本教程把实现上述功能的所有步骤罗列出来，以…
阅读更多...
frp 内网穿透服务器搭建frps服务端和frpc客户端

frp 内网穿透服务器搭建frps服务端和frpc客户端

1 工具 一台具有公网ip的服务器 2 下载frp frp下载地址 打开上面的frp下载地址 公网服务器上 打开下载文件 frps是服务端，在公网服务器上部署 frpc是客户端，在需要内网穿透的电脑上部署 1. frps配置 首先我这用的是win公网服务器 （linux…
阅读更多...
内网穿透配置（FRP）

内网穿透配置（FRP）

目录 0、内网穿透的一般场景 1、内网穿透配置 a、frp软件下载 b、frp 的配置 3、通过 frp 实现远程连接 4、设置 frpc / frps 开机启动的方法 5、设置frp安全连接的方法 0、内网穿透的一般场景 放假回家怎么远程连接学校实验室的服务器？ 先分析一波&#x…
阅读更多...
推荐文章

Copyright @ 2022~2023