一文理解主数据和参考数据

article/2025/8/25 10:01:10

如果你准备要开展推动数据治理或者是数据质量的项目,那么你就有可能会听说到几个词:主数据和参考数据。一开始听到主数据这一词听起来就很高大上,而且非专业人士肯定不理解(即便是从事数据行业的朋友也很难参透)。这一小节将会解答如下疑惑:

1、什么是主数据?
2、主数据是干嘛用的?
3、什么又是参考数据?
4、参考数据又是干嘛用的?
5、主数据和参考数据又有什么关系?

主数据定义

从百度百科上的定义来看主数据指的是系统间共享数据,又称基准数据,描述了组织业务中涉及到的人员、地点、事物(也就是我们常说的人货场),比如说像企业中的客户、员工、供应商相关数据、地点数据(位置、销售区域)、事物(账户、产品、资产)等都是主数据,因为这些数据往往会被多个业务流程和 IT 系统使用,而且主数据可以用来分析和推动业务流程以此来提高运营效率。

这么一讲感觉什么都懂了,但又感觉什么都没懂。
图片
那我们从字面意思上可以理解成主要的数据,什么是主要的数据呢?在整个企业业务流程中起到关键作用,而且是比较常用的数据,在核心业务流程上产生的数据都是主数据,这么一解释可以发现主数据是可以检测企业发展是否健康的一种方式,但这么理解是有些偏差的。稍微严谨一点的定义就是主数据是整个企业中使用的核心、非交易性数据。请注意:这里指的是非交易性数据。举个例子,比如你在ERP系统中能够看到一些交易数据,比如订单产生的日期和编号、地点、金额、商品、用户、供货商、店铺之类的信息。那么这些信息中的产品、供货商、用户、地点这些都是主数据,也就是说参与到核心流程中的主体数据都是主数据,这些实体为业务交易和分析提供了上下文信息,到这里不知道你有没有稍微理解了主数据的概念呢?

当然通过该例子,有些读者可能会有疑惑,那订单交易记录又算什么呢?这里其实又扩展出来了另外一种数据类型:交易数据,也就是这些实体数据结合在一起产生了事件活动记录,那么这个记录就属于交易数据。例如通话记录、销售记录等等事件。这样看起来好像主数据是嵌入到了交易数据中了,但是主数据相对交易数据来说的话,属性是相对稳定的,而且可信度要求高,需要做到唯一识别图片既然扯到了交易数据,那么这里再和另外一个名词做下对比:元数据,关于元数据的定义概念可以看万字介绍25种元数据管理解决方案(含视频,建议收藏)。在通信院发布的《主数据管理实践白皮书》中提到的了元数据和主数据的区别,小编觉得很形象,该书中提到了“元数据类似于表格的表头信息,是一个相对的概念;而主数据是从元数据中挑选出来的,代表的是企业业务运行的关键、通用性数据,是一个相对主观的概念,主数据不仅仅只是表头信息,而且还包括了实例数据

图片那这里又扯到了元数据,大家可能又会和数据仓库关联起来,主数据其实和数据仓库是有些相似点的,但也不能把主数据完全等同于数据仓库。首先主数据和数据仓库都有一个共同点就是集成,因为主数据是跨业务、跨系统、跨部门的共享数据,那么就需要把各个业务系统共享的数据进行集中式管理,这样一来就减少了数据冗余,不一致的问题;那数据仓库也是针对数据进行了集成,把所有的数据都放到一个“仓库”中,供企业中所有人进行查阅(当然还是要考虑数据安全的)。这么一梳理,其实就应该发现两者之间的不同了,数据仓库是面向所有数据,也就是来者不拒,统统都收;但主数据并不是所有的数据都集成,而是那些核心的、有高度价值密度的数据才会进行集中管理。
图片

这里还有一个数据流向和时效的区别点:对于数据仓库一般是单向的,也就是数据从业务系统入仓之后经过ETL处理后出仓用于决策分析;而主数据来源于业务系统,同时也会流回业务系统,属于双向的流转;而且数仓中的数据发生了变化,一般是T+1后才会感知到。而主数据的变化需要实时的作用于业务系统,比如客户的地址或者联系方式发生了变化,那么就必须立即同步到业务系统,否则可能会使用历史数据,影响业务服务体验。图片

主数据作用与特点

图片从开头的定义就可以了解其第一个特点:共享;主数据是跨系统、跨部门共享的数据。那么既然是共享的数据,那么就可以解决系统之间数据不一致的问题,比如说一个用户可能在多个系统之间有不同的地方信息(比如搬家了),如果各个系统使用各自的地址信息,最后肯定是会出问题的。如果各个系统统一使用最新的地址,就不需要考虑该问题了,这样在协作流程上也有所提升(其实这里需要涉及到主数据管理MDM的范畴来保证主数据的标准统一规范)。同时由于数据是共享的,对于企业来说价值是很高的了,既然是价值高的数据,命名为主数据也不为过。图片从上面一句话我们可以精简一下得到两个词:共享、价值;既然这类数据是被共享的,而且是价值比较高的,那么就要保证数据质量,而且不能经常改变了(哎呦,这跟缓慢变化维有点相似),如果各个系统共享该部分数据,质量不能保障的话,整个企业发展就很危险了,而且变化很频繁的话,就加大各个系统的维护成本,而且风险性也会提高,可谓是牵一发动全身呀。图片

参考数据定义

DAMA数据管理知识体系指南一书中对参考数据的定义是指“可用于描述或分类其他数据,或者将数据与组织外部的信息 联系起来的任何数据”。这个定义可以说是比较抽象,简单来说就是维度数据,大家平时理解的数据字典,该类型的数据的主要作用是用来增强对数据的可读性和解释性,比如状态编码、性别、产品维表、地理信息等维度数据。由此可见,参数数据的来源可能是内部产生或者外部手动采集获取到的(比如国际标准编码、行业标准)

特点

参考数据的特点同维度表的特点,有慢维,也有快维。

参考数据和主数据的区别

主数据和参考数据一般来说就是两种不同类型的数据。
1、从定义上来看主数据是代表业务对象的数据,由关键业务实体组成,它包含了整个组织共享的最有价值的信息;而参考数据是定义其他数据字段使用的一组允许的值的数据,包含了附加的文本描述,更多的像是数据字典;
2、从范围上来看参考数据是主数据的一种特殊子集。
下面的表格汇总了主数据和参考数据的区别:图片

参考资料:

  1. 中国通信院发布的《主数据管理实践白皮书1.0》

  2. DAMA数据管理知识体系指南


http://chatgpt.dhexx.cn/article/GkSGS3xF.shtml

相关文章

主数据治理平台培训规程

主数据管理平台打通各业务链条,消除不同部门重复录入数据造成的数据冗余。统一数据语言,统一数据标准,实现数据同源、数据共享,最大程度提高数据的权威性。同时也可以作为公司内部业务运转、经营分析、决策制定的“通用语言”&…

主数据同步与分发实现

随着企业的发展,各项数据的权威性显得尤为重要,针对解决企业的基础数据治理以及传输问题,数通畅联开发出了MDM主数据管理平台。主数据治理方案可以将企业的组织、人员、客户、供应商等高度共享的数据进行统一管理,对需要的业务系统…

数据治理——主数据项目实施

文章目录 一.主数据定义1.数据的层次模型(根据数据的特征、作用以及管理需求的不同)2.主数据涵盖了元数据、引用数据、企业结构数据、业务结构数据 二.传统的软件项目实施三.主数据项目四.主数据项目详细规划第一阶段(体系规划阶段)第二阶段:…

关于数据元、元数据、主数据、交易数据、主题数据、数据资源、大数据、数据湖等数据相关概念理解和总结

注:本文于2019年1月31日发表于微信公众号 谈数据(learning-bigdata),本公众号将于4月21日发布一篇关于《数据治理之元数据管理》的文章,有兴趣可以扫描下方二维码关注。 在和一些客户、同事聊数据的时候,发…

数据元、元数据、主数据、交易数据、主题数据、数据资源、大数据、数据湖等数据相关概念理解和总结

1、数据元 1.1 标准定义 [GB/T 18391.1-2002,定义3.14] ,用一组属性描述定义、标识、表示和允许值的数据单元,数据元由三部分组成:对象、特性、表示。 1.2 我的理解 数据元是组成实体数据的最小单元,或称原…

SAP:物料主数据增强

一、MM01,MM02点击保存后,对输入值校验增强点:BADI_MATERIAL_CHECK 1.SE19创建实施:典型业务加载项,输入增强BADI:BADI_MATERIAL_CHECK 2.点击创建,输入实施名称: 3.查看接口方法:…

MDM主数据平台使用总结

随着科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,所用到的应用系统也会越来越多,业务发展中沉淀了大量数据,但是这些数据没有为企业带来直观价值,没有形成企业的数据资产,所以…

主数据管理平台功能模型介绍

科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,所上的应用系统也就越来越多,业务发展中沉淀了大量的数据,但是这些数据没有为企业带来直观的价值,没有形成企业的数据资产,所以越…

主数据及编码

之前做数据梳理的时候对主数据进行了一个总结,虽然项目没有很好的开展,不过对我来说也是有很多收获的,这里把之前用到的一些文档总结如下。 术语和定义 主数据 早期以 ERP 为代表的制造业集成应用系统的发展过程中,产生了信息孤岛…

什么是主数据?浅谈主数据的管理与应用

主数据是指满足跨部门业务,跨流程,跨主题,跨系统,跨技术,协同需要的、反映核心业务实体状态属性的组织机构基础信息,主数据具有权威性,全局性,共享性,扩展性等特点。 主数…

什么是主数据

原文地址:https://zhuanlan.zhihu.com/p/168672437 一:什么是主数据 概念: 维基百科 主数据 (Master Data): 在企业中用来定义业务对象的、具有持续性、非交易类的数据。相对于交易类数据,…

终于有人把数据治理的元数据、主数据等概念讲明白了

DAMA国际数据管理协会对数据治理定义:数据治理是对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。 数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,…

matlab拉普拉斯算子边缘提取_(二十四)用二阶微分(拉普拉斯算子)实现图像锐化...

时间为友,记录点滴。 我们已经了解过了梯度(一阶微分)的作用,那么为什么要引入二阶微分呢? 二阶微分的作用是什么? 还是看图说话: 很明显,一阶微分已经可以把轮廓辨识出来,但是,对于变化较缓的地方,一阶微分会给出一个比较长的序列,对应到图像上就是轮廓比较“粗”…

GCN频域视角相关——傅里叶变换、拉普拉斯变换、拉普拉斯算子、拉普拉斯矩阵、卷积

试图通俗地捋清标题名词之间的关系 0. 前置知识0.1 函数的正交0.2 什么是卷积?0.3 散度0.4 欧拉公式 1. 卷积与傅里叶变换1.1 傅里叶变换1.2 时域的卷积等于频域的乘积 2. 拉普拉斯变换3. 拉普拉斯算子4. 拉普拉斯矩阵与其特征向量5. 太长不看总结版extra 注&#x…

拉普拉斯算子的原理和matlab实现代码

一、基本原理 拉普拉斯算子是一种二阶导数算子,是各向同性的微分运算,具有旋转不变性,可以满足不同走向的图像边界的锐化要求。   对一个二维图像函数f(x,y),它的拉普拉斯算子定义为:   x方向上的二阶微分定义为:   y方向上的二阶微分定义为:   所以,对于数…

Robert算子、Sobel算子、拉普拉斯算子

文章目录 1.Robert算子2.Sobel算子3.拉普拉斯算子4.结果 1.Robert算子 // 1. Robert算子cv::Mat gray;cv::Mat dstRoX;cv::Mat dstRoY;cv::Mat dstRoM;cv::Mat kernelRoX (cv::Mat_<float>(2, 2) << 1, 0, 0, -1);cv::Mat kernelRoY (cv::Mat_<float>(2, 2…

了解拉普拉斯算子

了解拉普拉斯算子 1. Laplace算子的定义2. 转换成离散形式 1. Laplace算子的定义 直奔主题&#xff1a;Laplace算子被定义为函数梯度的散度&#xff0c;即&#xff1a; 在图像处理&#xff0c;我们知道经常把Laplace算子作为边缘检测之一&#xff0c;也是工程数…

高斯拉普拉斯算子

高斯拉普拉斯算子&#xff08;Laplacian of Gaussian&#xff0c;LoG&#xff09; 高斯拉普拉斯算子&#xff08;Laplacian of Gaussian&#xff0c;LoG&#xff09;提取图像 f ( x , y ) f(x, y) f(x,y)边缘&#xff1a; 图像平滑去噪&#xff0c;高斯低通滤波器&#xff08…

频域的拉普拉斯算子

频域的拉普拉斯算子 一、定义&#xff1a; 拉普拉斯算子可以使用如下滤波器在频率域实现&#xff1a; H ( u , v ) − 4 ∗ π 2 ( u 2 v 2 ) H(u,v) -4*\pi^2 (u^{2} v^{2}) H(u,v)−4∗π2(u2v2) 或者&#xff0c;关于频率矩阵的中心&#xff0c;使用如下滤波器&#…

matlab拉普拉斯算子锐化,cv-拉普拉斯算子锐化浅析

式(3.7.1)中的二维拉普拉斯数字实现可由这两个分量相加得到&#xff1a; 从而得到拉普拉斯算子 意思同上面的一阶微分算子相同。 这里解释一下微分算子的使用&#xff0c;很简单&#xff0c;如上面这个就是在处理每个像素点的RGB值时&#xff0c;将该像素的RGB三个值乘以4然后减…