企业数据仓库总线架构、总线矩阵笔记 (第三篇)

article/2025/8/16 9:38:06

        一、总线架构

维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension)和一致性事实(Conformed Fact)。

在多维体系结构(MD) 的数据仓库架构中,主导思想是分步建立数据仓库,由数据集市组合成企业的数据仓库。但是,在建立第一个数据集市前,架构师首先要做的就是设计出在整个企业内具有统一解释的标准化的维度和事实,即一致性维度和一致性事实。而开发团队必须严格的按照这个体系结构来进行数据集市的迭代开发。

一致性维度就好比企业范围内的一组总线,不同数据集市的事实的就好比插在这组总线上的元件。这也是称之为总线架构的原因。

实际设计过程中,我们通常把总线架构列表成矩阵的形式,其中列为一致性维度,行为不同的业务处理过程,即事实,在交叉点上打上标记表示该业务处理过程与该维度相关。这个矩阵也称为总线矩阵(Bus Matrix)。

总线架构和一致性维度、一致性事实共同组成了Kimball的多维体系结构的基础,也建立了一套可以逐步建立数据仓库的方法论。由于总线架构是多维体系结构的核心,所以我们有时就把多维体系结构直接称为总线架构。

 

二、价值链的意义

每家机构都有一个关键业务过程组成的潜在价值链,这个价值链确定机构主体活动的自然逻辑流程。数据仓库建设就是围绕着价值链建立一致化的维度和事实。

 三 . 数据总矩阵

     矩阵的每一行对应都对应机构中的一个业务过程,每一列都和一个业务维度相对应,用叉号填充显示的是和每一行相关的列。业务过程应该先从单个数据源系统开始,然后再进行多数据源的合并。

企业数据仓库总线矩阵是DW/BI系统的一个总体数据架构,提供了一种可用于分解企业数据仓库规划任务的合理方法,开发团队可以独立的,异步的完成矩阵的各个业务过程,迭代地去建立一个集成的企业数据仓库。 

          四. 一致性维度和事实

         企业数据仓库应该建立一个一致性维度和事实,而不是为每个部门建立维度和事实。

  五. 一致性维度

        具有一致的维度关键字,一致的属性列名称,一致的属性定义和一致的属性值。一致性维度要么是统一的,要么是维度表的一个子集。

  六. 一致性事实

        指每个度量在整个数据仓库中都是唯一的统计口径,为了避免歧义,一个度量只有唯一的业务术语。

  七. 维度模型的设计方法

          八. 维度模型设计流程图

                                             

 

           9.维度模型设计步骤

        9.1.需求调研 

        9.2.数据探查

             根据总线矩阵,确定业务过程的优先级,就要对候选数据源进行可行性评估,产出文档有源系统跟踪报告,数据评估报告。主要内容有:

                                            

 

                 9.3.高层模型设计

                                         

    9.4.识别维度和度量
                 有了高层模型,就要设计维度和度量,维度和度量清单不仅仅是业务用户所关心,还要从业务过程出发,自上而下的设计所涉及的维度和度量。防止业务用户的需求变化带来的冲击。 

    9.5.确定命名规范
                 在详细设计之前,为DW/BI系统制定规范,主要包含源系统、主题、业务术语、报表,物理设计命名、调度任务、文档方面的规范。 

    9.6.编写详细设计映射文档
                详细设计文档包括从源系统到维度模型的每个数据层的物理映射文档。 

    9.7.审查和验证模型
                详细设计文档出来后,要和业务用户和团队成员进行评审,记录下来评审过程中的问题,形成问题清单。

     9.8.完成设计文档
 最后确定设计文档,进行下一步的ETL开发。

本节文章可结合阿里巴巴《数据之路》,Kimball(数据库工具箱)

链接:https://pan.baidu.com/s/1GU-FdUH2eEyFWmJ5Nm9XqQ 
       提取码:7i4w


http://chatgpt.dhexx.cn/article/Whs2qAuC.shtml

相关文章

项目管理模板模板

项目管理模板模板 附件: 项目管理模板模板.rar 更多旧内容请访问 www.17testing.com

项目经理必备-项目总体计划模板-制式文件,可直接填写使用-公司可用

合同中完整项目名称,黑体,28号字, 居中对齐,项目名称较长时换行填写 当前文档名称,黑体,小初, 居中对齐,文档名称较长时 换行填写 版 本 号 x.x 编制人 日期 20xx年xx月xx日…

项目章程和项目管理计划

转自:人月神话blog 项目整体管理的一个重要作用就是对5大项目管理过程组和44个项目管理过程进行有效的整合。整体管理贯穿项目启动到收尾的整个过程。启动过程的一个重要标 志是项目章程的制定,有时候可能也可能是一次项目重要干系人参加的会议决议文件&…

4.1 制定项目章程

4.1 制定项目章程 定义:制定项目章程是编写一份正式批准项目并授权项目经理在项目活动中使用组织资源的文件的过程。 作用:制定项目章程,以便正式启动已经选定的某个项目,确立该项目在组织中的合法地位,授权项目经理动…

项目章程-文件计划

项目立项以后,就要正式启动项目。项目启动就是以书面的、正式的形式肯定项目的成立与存在,同时以书面的形式为项目经理进行授权。 项目章程是正式批准一个项目的文档,或者是批准现行项目是否进入下一个阶段的文档。项目章程应当由项目组织以外…

100+份项目管理模板和工具免费下载,包含项目管理各个流程都该用到哪些工具和方法!

工作这么多年,相信有很多项目经理已经拥有了一套自己用着熟悉的模板和工具。其实,不管用什么表格模板,我们的最终目的都是为了能及时交付项目。 今天分享给大家的这些内容,希望大家都能找到适合自己的使用工具,并熟能…

软件项目管理 2.3.项目章程

软件项目管理 2.3.项目章程 【公众号 “项目管理研究所” 将会第一时间更新文章】 归档于软件项目管理初级学习路线 第二章 软件项目确立 《初级学习路线合集 》 前言 大家好,这节我们学习软件项目章程概念 一、项目章程 项目章程是证明项目存在的正式书面说明和…

第四章:项目整合管理 - (4.1 制定项目章程)

制定项目章程: 1、编写一份正式批准项目并授权项目经理在项目活动中使用组织资源文件的过程。 2、本过程的主要作用:明确项目与组织战略之间的关系,确立项目的正式地位,并展示组织对项目的承诺。 3、本过程仅开展一次或仅在项目的…

信息系统项目管理:如何制定项目章程?

制定项目章程是编写一份正式批准项目并授权项目经理在项目活动中使用组织资源的文件的过程。 1.项目章程起了什么作用? 项目章程在项目执行组织与需求组织之间建立起伙伴关系。在执行外部项目时,通常需要用正式的合同来达成合作协议。这种情况下&#x…

项目管理-项目章程

2019独角兽企业重金招聘Python工程师标准>>> 什么是项目章程 先来个例子看一下: 借助这个图,我们再来看看项目章程的定义: 制定项目章程是编写一份正式批准项目并授权项目经理在项目活动中使用组织资源的文件的过程。 本过程的主…

项目管理 | 如何制定项目章程?|附项目章程模板下载

很多项目经理虽然都知道项目章程,但是大部分项目是从来没有做过的,项目章程是证明项目存在的正式书面说明和证明文件。 是让老板授权的正式文件,是项目经理获得授权的关键。通常是项目开始后第一份正式文件。 今天就为大家分享一份《项目章…

如何制定有效的项目章程?【含项目章程模板】

很多项目经理虽然都知道项目章程,但是大部分项目是从来没有做过的,项目章程是证明项目存在的正式书面说明和证明文件。 是让老板授权的正式文件,是项目经理获得授权的关键。通常是项目开始后第一份正式文件。 今天就为大家分享一份《项目章…

深度学习:Keras入门(一)之基础篇

http://www.cnblogs.com/lc1217/p/7132364.html 1.关于Keras 1)简介 Keras是由纯python编写的基于theano/tensorflow的深度学习框架。 Keras是一个高层神经网络API,支持快速实验,能够把你的idea迅速转换为结果,如果有如…

【小白学习keras教程】十一、Keras中文本处理Text preprocessing

Author:Runsen 文章目录 Text preprocessingTokenization of a sentenceOne-hot encodingPadding sequencesWord EmbeddingsWord vectorsEmbedding layer 本次博客将介绍如何在Keras中,对文本进行处理Text preprocessing Text preprocessing Keras API…

Tensorflow和Keras基础使用教程

视频教程:B站、网易云课堂、腾讯课堂 代码地址:Gitee、Github 存储地址: 百度云-提取码: Google云 1.Tensorflow和Keras简介2.Tensorflow3.实现线性回归4.保存和恢复模型5.TensorBoard监控6. 实现第一个神经网络 7.Keras8.Keras的…

Keras教程:使用Keras开始深度学习和Python(上)

概述:包括什么内容呢 用Keras训练第一个简单的神经网络不需要很多代码,但是我们将慢慢开始,逐步进行,确保您理解如何在自己的自定义数据集上训练网络。 我们今天要讨论的步骤包括: 在系统上安装Keras和其他依赖项 从磁盘加载数据 创建训练和测试分支 定义您的Keras模型体…

Keras入门教程 6.Keras 预训练模型应用

Keras 入门教程 1.线性回归建模(快速入门)2.线性模型的优化3.波士顿房价回归 (MPL)4.卷积神经网络(CNN)5.使用LSTM RNN 进行时间序列预测6.Keras 预训练模型应用 Keras 预训练模型应用 Keras 应用模块用于为深度神经网络提供预训…

keras教程_Keras教程

keras教程 Keras教程 (Keras Tutorial) PDF Version Quick Guide Resources Job Search Discussion PDF版本 快速指南 资源资源 求职 讨论区 Keras is an open source deep learning framework for python. It has been developed by an artificial intelligence researcher at…

深度学习——keras教程系列基础知识

大家好,本期我们将开始一个新的专题的写作,因为有一些小伙伴想了解一下深度学习框架Keras的知识,恰好本人也会一点这个知识,因此就开始尝试着写一写吧。本着和大家一起学习的态度,有什么写的不是很好的地方还请大家多多…