通俗理解数据治理之主数据

article/2025/9/19 21:30:31

1)如需数据治理-元数据材料可前往(狗头.gif)

https://download.csdn.net/download/u010763324/87589200icon-default.png?t=N176https://download.csdn.net/download/u010763324/875892002)如需数据治理-主数据材料可前往(狗头.gif)

https://download.csdn.net/download/u010763324/87589160https://download.csdn.net/download/u010763324/87589160

1. 定义

1)国家标准GB/T 36073-2018 《数据管理能力成熟度评估模型》中对主数据的定义:主数据是组织中需 要跨系统、跨部门进行共享的核心业务实体数据。

2)IBM 公司在其有关主 数据管理的红皮书《Master Data Manangement:Rapid Deployment Package for MDM》中主数据:有关客户、供应商、产品和账户的企业关键信息。

3)国际数据管理协会(DAMA)发布的DMBOK1.0中主数据定义:以与业务活动相关的通用和抽象概念形式提供业务活动语境的数据,包括业务交易中涉及的内部和外部对象的详细信息(定义和标识符),如客户、产品、雇员、供应商和受控域(代码值)。

2. 主数据与其他数据

2.1 六层数据分类法

齐泽姆(Malcom Chisholm)提出六层的数据分类法,包括元数据、参考数据、企业结构数据、交易结构数据和交易审计数据,他将主数据定义为参考数据、企业结构数据和交易结构数据的聚合。

1)参考数据:代码表或描述表。2)企业结构数据:例如会计科目表。3)交易结构数据:例如客户标识符,描述了交易过程中必须出现的一些要素(供应商、产品等)

2.2 DAMA(DMBOK2.0)主数据与参考数据

二者相似点:两者都为交易数据的创建和使用提供重要的上下文信息(参考数据也为主数据提供上下文),都是应该在企业层面上被管理的共享资源。

二者区别:参考数据不易变化,通常比交易数据集或主数据集小、复杂程度低,拥有的行和列更少。

二者管理的重点不同:

参考数据管理(Reference Data Management,RDM)。需要对定义的域值及其定义进行控制。参考数据管理的目标是确保组织能够访问每个概念的一整套准确且最新的值。

主数据管理(Master Data Management,MDM)。需要对主数 据的值和标识符进行控制,以便能够跨系统地、一致地使用核心业务实 体中最准确、最及时的数据。主数据管理的目标包括确保当前值的准确 性和可用性,同时降低由那些不明确的标识符所引发的相关风险。

老码理解:高校的老师分级,其中教授岗位分一至七级,其中正教授岗位包括一至四级,副教授岗位包括五至七级;中级岗位分3个等级,即八至十级;初级岗位分为3个等级,即十一至十三级。这个不咋会变化的数据,可以理解为参考数据。教职工姓名可以理解为主数据(工会发东西、财务发工资都得知道有谁,而且不会经常变动)。

2.3 核心主数据与配置型主数据(主数据管理实战白皮书,文末附件)

核心主数据:核心主数据指用来描述企业核心业务实体的主数据,是企业核心业务 对象、交易业务的执行主体,如产品、物资、设备、组织机构、员工、供 应商、客户、会计科目等。核心主数据是企业信息系统的神经中枢,是业 务运行和决策分析的基础。核心主数据是相对“固定”的,变化缓慢。

配置主数据:配置型主数据是描述业务或核心主数据属性分类的参考信息,会在整 个组织内共享使用。一般依据国际标准、国家标准、行业标准或企业标准和相关规范等,在系统中一次性配置使用的基础数据,例如国家、民族、性别等规范性表述。配置型主数据相对稳定,不易变化。

老码理解:同上主数据与参考数据的关系,不同学者的不同分类描述。

2.4 主数据与元数据

元数据最简单的描述:数据的数据。没有元数据,就没有办法对单位的数据资产进行管理,在DMBOK2.0中,将元数据分为技术元数据、业务元数据、操作元数据,技术元数据主要来自跟数据库相关,表头的字段都属于技术元数据。这一句重点理解:元数据表示数据的数据,也是数据。

老码理解:应用到数据库层面,主数据表征的是行,元数据表征的是列

2.5 为什么需要进行主数据管理

1)企业存在着众多的信息数据和信息管理系统,这些系统的信息数据各自为政,给信息交互和集成带来很大的困难。

2)描述信息数据的方法众多,没有统一的数据标准和流程体系,缺乏有效的数据变更和审核机制

3)存在大量的冗余数据和错误数据,严重影响了报表、高层决策分析的效果。

4)大量分散的数据缺乏统一标准,数据对照和映射关系复杂,企业无法保证业务数据统计的及时性和准确性。

5)主数据结构定义复杂,把大量的信息含义定义到了数据编码结构中,数据校验存在大量认为判断和手工操作,没有有效的数据清理手段和工具,缺乏质量保证过程。

老码理解:各部门都用到的数据,大家统一管一下,拿取方便

2.6 不管理主数据会怎么样?

1)数据不一致,数据质量堪忧,导致不必要的麻烦

2)数据集成困难,以前是烟囱,以后还是烟囱

3)资产、物料一码多物或一物多码

4)导致同单位不同部门的理解歧义

2.7 主数据管理的意义

1)构件集中的主数据标准化体系,实现流程驱动和数据管控

2)集中的数据访问,提高数据质量,降低数据集成成本

3)提升数据资产管理成熟度,实现主数据全生命周期的动态管理

4)精确决策支持,减少信息统计汇总成本和信息沟通成本

2.8 规划主数据管理(DMBOK2.0)

1)识别能提供主数据实体全面视图的候选数据源。

2)为精确匹配和合并实体、实例制定规则。

3)建立识别和恢复未恰当匹配或合并的数据的方法。

4)建立将可信数据分发到整个企业的系统中的方法。

2.9 主数据管理常见问题及挑战

        1)不重视主数据的总体规划,缺乏顶层设计,无法在单位决策层、管理层和业务层等各层级统一思路;

        2)各职能部门各自为政,难以在标准和规则层面达成一致,致使主数据代码标准 难统一;

        3)通用标准主数据(国际标准、国家标准和行业标准产生的主数据)管理分散,缺乏便捷可靠的数据获取渠道,数据获取困难;

        4)单位内部已经存在且分散管理的主数据,由于缺乏统一标准和数据关联,大量的数据清洗依靠人为判断,数据清洗难度和风险都很大;

        5)一些单位,特别是大型集 团化企业,系统众多、年代跨度久远,一些早期的系统数据标准化程度不 高,改造难度大、成本高,给主数据应用集成带来较大的困难

3. 主数据管理实施

主数据实施要点主要包含

1)主数据规划(做凡事都得先想一想,俗称规划)

2)制定主数据标准(统一标准,都得这么干)

3)建立主数据代码库(按标准干活)

4)搭建主数据管理工具(主数据的全生命周期得有工具管理)

5)构建运维体系(主数据的全生命周期得有运维,新增删减,保证质量等)

6)推广贯标(喜大普奔,告诉各部门同事可以放大胆子用数据了)


http://chatgpt.dhexx.cn/article/Egt3kAMd.shtml

相关文章

数据治理概述

一、 首先认识一些名词 在学习数据治理知识之前,首先要明白治理的对象都有哪些,什么才是数据?是1,2,3,4这种纯数字类型的才算数据吗?还是所有的文本数据都是数据? 请往下看。 1.1…

数据治理:数据治理框架和标准

参考《一本书讲透数据治理》、《数据治理》等 数据治理并不是新概念,在国内外都有实践,这里重点介绍下国内外对数据治理的主流框架和标准 国际数据治理框架 国际上,主流的数据治理框架主要有:ISO数据治理标准、GDI数据治理框架、…

数据治理项目经验分享

绝大多数互联网公司没时间建模、治理,直接拖宽表。业务变更频繁、建模缺位、指标爆炸,是导致互联网大数据环境中数据质量的低下的根本原因。 而在部委、集团中,时间相对充裕一些,标准更规范一些,但是同样面临部委和省…

谈谈数据治理

数据治理的本质是组织对数据的可用性、完整性和安全性的整体管理。 1.数据治理的本质 可用性指数据可用、可信且有质量保证,不会因为分析结果的准确性造成偏差,从业者可以放心地根据数据结果做业务决策;完整性分为两个方面,一方面…

数据治理:企业数据治理蓝图

参考《一本书讲透数据治理》、《数据治理》等 文章目录 企业数据治理体系企业数据治理9个要素企业数据治理4个层面 企业数据治理之道企业数据治理之法企业数据治理之术企业数据治理之器 企业数据治理体系 数据治理、数据管理、数据管控三者是什么关系?很多人都搞混…

也谈数据治理

1.数据治理的概念 数据治理,对于有数据的企业来说,是一个非常重要的内容。数据治理,之所以重要,是因为当前,数据已成为一种重要的资产,是组织进行管理、生产和行动的重要职称。 笔者结合了多方资料&#…

数据治理专栏

随着数字化转型大趋势发展浪潮以及数据作为新的生产要素,数据在企业的发展中扮演越来越重要的角色。然而数据本身不会自动产生价值,一般来说数据价值变现有两种方式:一种是通过数据治理将数据资源转化为数据资产,再把数据资产链接…

数据治理简介

参考文章:数据治理到底能治什么,怎么治 浅谈数据治理 数据治理的定义,挑战和最佳实践 1. 数据治理的背景 狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理…

数据治理问题

01前言 为什么想开这个话题,一是因为目前业内数据产品也基本完成了从0-1的建设工作,但主要集中在数据生产加工和数据应用分析两侧,对于数据管治方向的建设多分散在了包括安全、指标元数据、SLA等在内的各个环节,缺乏统一的规划统…

【数据治理】数据治理8种方法

今天给大家推荐的是数据治理套路8法,个人觉得这8种方法中监管驱动法和利益驱动法是最常见的,也是一直在治,但只能局部治理的方法,未来是数字时代,必须体系构建(顶层设计)价值驱动(利…

浅谈数据治理(什么是数据治理)

浅谈数据治理 数据治理是一个对企业数字化转型至关重要的一个环节,关乎着企业核心数据是否能被规范化管理、数据的价值是否能被充分发挥等等。说白了能给企业实现降本增效、业务精细化运营、重要决策制定、产品优化迭代等多方面的收益。 说到数据治理,…

什么是数据治理?(目的、方法、流程)

文章目录 1、什么是[数据治理]2、数据治理的目的3、数据治理的方法4、数据质量8个衡量标准5、数据治理流程 1、什么是[数据治理] 数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制…

bpftrace 段错误 bpf_prog_load_deprecated

调试 (gdb) 672 return bpf_prog_load(load_attr->prog_type, load_attr->name, load_attr->license, (gdb) p load_attr->prog_type $5 BPF_PROG_TYPE_TRACING (gdb) s bpf_prog_load_deprecated (file0x1a <error: Cannot access memory at address 0…

BPF介绍

Thank Zhihao Tao for your hard work. The document spent countless nights and weekends, using his hard work to make it convenient for everyone. If you have any questions, please send a email to zhihao.taooutlook.com 文章目录 1. 概述1.1 发展1.2 优势1.3 限制1…

BPF-JIT中bug归类

文章目录 前言BPF-JITs中的bugs分类Subtle architectural semantics(微妙的架构语义)Subtle machine state(微妙的机器状态)Subtle instruction encoding(微妙的指令编码) Bug-fixing commits in BPF JITs in the Linux kernel (May 2014–April 2020)其他 前言 本篇内容来自&…

bpf的加载流程分析

文章目录 前言elf结构简介load_bpf_file函数准备工作创建map处理所有的重定向section加载ebpf程序 参考 前言 我们知道&#xff0c;使用clang/llvm编译生成的target为bpf的elf文件&#xff0c;使用load_bpf_file函数加载进入内核。 所以&#xff0c;这里&#xff0c;我们需要…

深入理解 BPF map 实现机制

揭秘 BPF map 前生今世 目录 揭秘 BPF map 前生今世1. 前言2. 简单的使用样例用户空间与内核 BPF 辅助函数参数对比 3. 深入指令分析3.1 查看 BPF 指令3.2 加载器创建 map 对象3.3 第一次变身&#xff1a; map fd 替换3.4 第二次变身&#xff1a; map fd 替换成 map 结构指针 4…

bpf简介1

文章目录 前言prefaceIntroduction历史发展结构 推荐阅读 前言 来源&#xff1a;Linux Observability with BPF 这里整理下该书第一章&#xff1a;preface && Introduction 这本书有中文版的《Linux内核观测技术BPF》。这个链接里面的资料也是很好的&#xff0c;可以…

BPF技术学习分享

什么是BPF程序&#xff1a; BPF is a highly flexible and efficient virtual machine-like construct in the Linux kernel allowing to execute bytecode at various hook points in a safe manner. BPF程序 ----LLVMClang----> BPF字节码 ----JIT----> BPF指令集&…

BPF之事件源

基础 1. BPF和eBPF概念 BPF 原是 Berkeley Packet Filter&#xff08;伯克利数据包过滤器&#xff09;的缩写&#xff0c;1992诞生&#xff0c;用于网络包过滤。2014经过修改并入 Linux 内核主线&#xff0c;从此 BPF 变成了一个更通用的执行引擎&#xff0c;主要用于网络、可…