数据总线学习

article/2025/8/17 0:37:21

为啥要数据总线

在这里插入图片描述
在这里插入图片描述

  1. 使用服务化方式发布,业务端和中间件完全解耦合。
  2. 一处生产,处处消费设计理念。
  3. 提供用户可定制的托管化通用消费方案(如同步mysql到缓存,同步mysql到es,消费mysql到大数据等托管服务)

特性

顺序消费

场景

刷缓存。在刷缓存的过程中,存在“回源”问题:缓存中不存在需要的数据时需要去数据库中重新查找。
在利用消息队列刷新缓存时,需要缓存的数据一般为表中某些行的值,所以保持表级别的有序即可。如果需要缓存的数据跨越多个表,则需要保持数据库级别的有序。

原理

要求整个链路是有序的
在这里插入图片描述

  1. 数据库到binlog
    mysql的事务机制保证写入到binlog的顺序是整个mysql集群有序的
  2. 总线服务拉取binlog
    分布式协调器确保一个mysql集群同时只有一个实例在消费
  3. 总线写入Kafka
    在发送消息到 Kafka的过程中,会根据db标识进行hash计算,然后根据hash值执行顺序发送,保证同一个hash值的数据发送到同一个Kafka的分区
  4. 总线客户端消费
    Client在消费消息时,定义顺序任务标识,放入同一队列,单线程执行队列任务,一旦用户消费失败触发重试逻辑,保证上一个消费成功才进行下一次的消费逻辑。

事务消费

场景

类似事务消息的玩法,本地数据库事务执行完成后,数据总线通知client消费方

原理

以GtidEvent、XidEvent事件作为事务起始和结束,将流式的Binlog按事务标识GTID打包,以库(Cluster)有序投递事件

全流量消费

场景

业务冷启动,数据全量校准补偿

原理

全量流的消息会被打包成insert binlog事件投递给Resolver

回溯消费

场景

消费过程中因为消费失败、上线bug或其他原因,会存在重新消费旧数据的需求。

原理

Kafka的offset回溯实现的,支持时间戳回溯,精度在秒级


http://chatgpt.dhexx.cn/article/JRm153A5.shtml

相关文章

地址总线数据总线控制总线_大数据:信息总线上的一切

地址总线数据总线控制总线 对短期有利的东西对长期不利。 棒球的一个简单例子: 很明显,类固醇增强了性能,许多球员转向了“果汁”,以推动他们的短期表现。 但是,他们很快了解到这是不可持续的。 一旦停止或过度使用它…

地址总线、数据总线、控制总线详细解释

摘自某位大神,共同学习三种总线的相关知识: 其中地址总线通过CPU和内存的图示形式表示更方便理解记忆 在地址总线和数据总线相同的前提下,32位CPU(数据总线为32位)的最大支持寻址空间为2^32,即最大支持4…

阿里十年技术沉淀|深度解析百PB级数据总线技术

云原生场景下数据总线需求场景及挑战 数据总线简介 数据总线作为大数据架构下的流量中枢,在不同的大数据组件之间承载着数据桥梁的作用。通过数据总线,可以实时接入来自服务器、K8s、APP、Web、IoT/移动端等产生的各类异构数据,进行统一数据…

数据仓库系列文章二:浅谈企业数据仓库总线矩阵

Kinball在《数据仓库工具箱》一书中,详细阐述维度建模思想,并给出维度建模的众多实践。维度建模的核心内容和建设过程在实践中已经被大家所熟知,网上教程也很多,本文不做赘述。本文重点谈一谈企业数据仓库总线矩阵。 企业数据仓库…

企业数据仓库总线架构、总线矩阵笔记 (第三篇)

一、总线架构 维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension&a…

项目管理模板模板

项目管理模板模板 附件: 项目管理模板模板.rar 更多旧内容请访问 www.17testing.com

项目经理必备-项目总体计划模板-制式文件,可直接填写使用-公司可用

合同中完整项目名称,黑体,28号字, 居中对齐,项目名称较长时换行填写 当前文档名称,黑体,小初, 居中对齐,文档名称较长时 换行填写 版 本 号 x.x 编制人 日期 20xx年xx月xx日…

项目章程和项目管理计划

转自:人月神话blog 项目整体管理的一个重要作用就是对5大项目管理过程组和44个项目管理过程进行有效的整合。整体管理贯穿项目启动到收尾的整个过程。启动过程的一个重要标 志是项目章程的制定,有时候可能也可能是一次项目重要干系人参加的会议决议文件&…

4.1 制定项目章程

4.1 制定项目章程 定义:制定项目章程是编写一份正式批准项目并授权项目经理在项目活动中使用组织资源的文件的过程。 作用:制定项目章程,以便正式启动已经选定的某个项目,确立该项目在组织中的合法地位,授权项目经理动…

项目章程-文件计划

项目立项以后,就要正式启动项目。项目启动就是以书面的、正式的形式肯定项目的成立与存在,同时以书面的形式为项目经理进行授权。 项目章程是正式批准一个项目的文档,或者是批准现行项目是否进入下一个阶段的文档。项目章程应当由项目组织以外…

100+份项目管理模板和工具免费下载,包含项目管理各个流程都该用到哪些工具和方法!

工作这么多年,相信有很多项目经理已经拥有了一套自己用着熟悉的模板和工具。其实,不管用什么表格模板,我们的最终目的都是为了能及时交付项目。 今天分享给大家的这些内容,希望大家都能找到适合自己的使用工具,并熟能…

软件项目管理 2.3.项目章程

软件项目管理 2.3.项目章程 【公众号 “项目管理研究所” 将会第一时间更新文章】 归档于软件项目管理初级学习路线 第二章 软件项目确立 《初级学习路线合集 》 前言 大家好,这节我们学习软件项目章程概念 一、项目章程 项目章程是证明项目存在的正式书面说明和…

第四章:项目整合管理 - (4.1 制定项目章程)

制定项目章程: 1、编写一份正式批准项目并授权项目经理在项目活动中使用组织资源文件的过程。 2、本过程的主要作用:明确项目与组织战略之间的关系,确立项目的正式地位,并展示组织对项目的承诺。 3、本过程仅开展一次或仅在项目的…

信息系统项目管理:如何制定项目章程?

制定项目章程是编写一份正式批准项目并授权项目经理在项目活动中使用组织资源的文件的过程。 1.项目章程起了什么作用? 项目章程在项目执行组织与需求组织之间建立起伙伴关系。在执行外部项目时,通常需要用正式的合同来达成合作协议。这种情况下&#x…

项目管理-项目章程

2019独角兽企业重金招聘Python工程师标准>>> 什么是项目章程 先来个例子看一下: 借助这个图,我们再来看看项目章程的定义: 制定项目章程是编写一份正式批准项目并授权项目经理在项目活动中使用组织资源的文件的过程。 本过程的主…

项目管理 | 如何制定项目章程?|附项目章程模板下载

很多项目经理虽然都知道项目章程,但是大部分项目是从来没有做过的,项目章程是证明项目存在的正式书面说明和证明文件。 是让老板授权的正式文件,是项目经理获得授权的关键。通常是项目开始后第一份正式文件。 今天就为大家分享一份《项目章…

如何制定有效的项目章程?【含项目章程模板】

很多项目经理虽然都知道项目章程,但是大部分项目是从来没有做过的,项目章程是证明项目存在的正式书面说明和证明文件。 是让老板授权的正式文件,是项目经理获得授权的关键。通常是项目开始后第一份正式文件。 今天就为大家分享一份《项目章…

深度学习:Keras入门(一)之基础篇

http://www.cnblogs.com/lc1217/p/7132364.html 1.关于Keras 1)简介 Keras是由纯python编写的基于theano/tensorflow的深度学习框架。 Keras是一个高层神经网络API,支持快速实验,能够把你的idea迅速转换为结果,如果有如…

【小白学习keras教程】十一、Keras中文本处理Text preprocessing

Author:Runsen 文章目录 Text preprocessingTokenization of a sentenceOne-hot encodingPadding sequencesWord EmbeddingsWord vectorsEmbedding layer 本次博客将介绍如何在Keras中,对文本进行处理Text preprocessing Text preprocessing Keras API…