数据元、元数据、主数据、交易数据、主题数据、数据资源、大数据、数据湖等数据相关概念理解和总结

article/2025/8/25 11:19:29

1、数据元
1.1 标准定义
[GB/T 18391.1-2002,定义3.14] ,用一组属性描述定义、标识、表示和允许值的数据单元,数据元由三部分组成:对象、特性、表示。

1.2 我的理解
数据元是组成实体数据的最小单元,或称原子数据,例如,客户联系方式中的手机号码,手机号为数据元,135****为数据元的值。

1.3 主要作用
数据元本身就是数据,一般用来对各行业的数据进行自身规范化的一个方法或一套指导的理论,规划好行业数据元之后,可以为行业构建出统一、集成的、稳定的数据模型奠定基础。

1.4 应用范围
数据元早期在金融、医疗等应用非常广泛,国家相关单位也出具了对于数据元管理的一系列技术标准和行业标准,例如:GB/T 18391.1 信息技术 数据元的规范和标准化;CFDAB-T-0301.1-2014 食品药品监管信息基础数据元……

1.5 应用举例
CFDAB-T-0301.3-2014(食品药品监管信息基础数据元 第3部分:药品),举例:

在这里插入图片描述

 

2、元数据
2.1 标准定义
Mate data,描述数据的数据或关于数据的结构化数据。

2.2 我的理解
元数据是用来描述数据的数据,让数据更容易理解、查找、管理和使用。举个栗子“村里有个姑娘叫小芳,长得好看又善良”这首耳熟能详的歌,我们分析一下,姓名:小芳、性别:姑娘(女)、长相:好看、性格:善良,住址:村里。这里面:小芳是被描述的对象也就是我们所谓的实体数据,而姓名、性别、长相、性格、住址就是描述小芳这个人的元数据。当然元数据也会被描述,例如上边我举的例子中姓名的字段长度,字段编码、定义、字段类型、默认值等是用来“姓名”这个数据元的。所以还有个元模型的概念,这里不再展开,有兴趣的同学可以在网上查下,MOF、CWM这两个关于元模型的标准就明白了。

2.3 主要作用
元数据是帮助查找、存取、使用和管理信息资源的信息。

2.4 应用范围
元数据是业界公认的数据管理中的核心要素,做好元数据管理,更容易的对数据进行检索、定位、管理、评估。用哲学的思维理解元数据的话,元数据其实解决的是:我是谁,我在哪里,我从哪里来,我要到哪里去的问题。元数据是建设数仓的基础,是构建企业数据资源全景视图的基础,清晰的血缘分析、影响分析、差异分析、关联分析、指标一致性分析等,是数据资产管理的重要一环。后边有机会的话我会分享一下元数据管理,这里就不再展开了。

2.5 应用举例
数据是物料,而元数据是仓库里的物料卡片;
数据是文件夹,而元数据是夹子的标签;
数据是书,元数据是图书馆中的图书卡。

3、主数据
3.1 标准定义
主数据(Master Data)指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据)。与记录业务活动,波动较大的交易数据相比,主数据(也称基准数据)变化缓慢。主数据必须存在并加以正确维护,才能保证交易系统的参照完整性。——这个是百度百科的定义。

3.2 我的理解
最早接触主数据的概念大概是09年左右,之后做过一些关于主数据的项目和解决方案。个人对主数据的理解可以用六个字概况“三大特性,四个超越“。三大特性也是主数据的主要特征,即高价值性、高共享性、相对稳定性。四个超越:即超越业务,超越部门、超越系统、超越技术。请参考《主数据的3个特点、4个超越和3个二八原则》

3.3 主要作用
主数据是组织的最关键、最核心的数据,重点用来解决异构系统之间关键数据的不一致、不正确、不完整等问题。主数据是信息系统建设和大数据分析的基础,被认为是企业数字化转型的基石。

3.4 应用范围
个人认为广义上的主数据,在不同行业、不同领域都会有不同的定义。例如在制造型企业中的核心主数据有:物料、BOM、、设备、客户、供应商、人员等;金融行业中客户、客户关系是其主数据管理的核心;在政府各部门,人口、法人、证照等是其主要的主数据。……

3.5 应用举例
关于主数据与主数据管理,之后进行专题分享,敬请关注。
预告:主数据专题分享会对主数据的3大特性4个超越,以及主数据管理中的3个2/8原则进行详细阐述。

4、基础数据
4.1 标准定义
暂无。我在文章《主数据的前世今生,畅想未来!》一文中有过关于基础数据的相关描述,请参考。

4.2 我的理解
对于基础数据,业界还没有给出一个标准的定义。但在很多信息化项目中,基础数据这个概念都会被提及和使用。同时,常常会有客户对基础数据和主数据概念混淆。我理解的基础数据是IT领域的术语是伴随信息化系统建设产生的。基础数据是信息系统运行的基础,用来支撑信息系统运行的各种参数。而主数据是被多个系统共享的基础数据。所以,我理解的主数据可以是基础数据的一部分,但基础数据绝对不等于主数据。

4.3 主要作用
基础数据是支撑信息系统运行的各种数据和参数。

4.4 应用范围
各类信息化系统的建设都离不开基础数据的准备,基础数据质量的好坏,是影响信息化系统建设成败的关键因素。

4.5 应用举例
例如,建设一个MES(制造执行系统)需要准备的基础数据包括:组织、部门、班组、班次、人员、岗位、机台、设备、物料、仓库、客商、工艺规程、BOM、工作中心、工作日历、仪器仪表、位置、测量点、检验参数、检验项目……

5、业务数据
5.1 标准定义
业务数据是业务处理过程中或事物处理所产生的数据,也称交易数据。交易数据是面向应用的操作型数据,有很高响应及时性要求。

5.2 我的理解
业务数据来这三个方面,一是:业务交易过程中产生的数据,例如:计划单、销售单、生产单、采购单等,这部分数据多数人为产生。二是,系统产生的数据,包括,硬件运行状况、软件运行状况、资源消耗状况、应用使用状况、接口调用状况、服务健康状况等。三是,自动化设备所产生的数据,IOT物联网的各类设备运行数据、生产采集数据等等。不论来源何处,这里数据有一个共同的特点就是时效性强,数据量大。

5.3 主要作用
业务数据主要面向应用,为业务应用提供服务,例如:生产、销售、采购、设备管理、系统管理等。

5.4 应用举例
某企业的产品销售记录:

在这里插入图片描述

 

6、主题数据
6.1 标准定义
将信息经过过滤识别出来,再从全局出发,根据管理需求信息按照不同的分类定义出不同的主题库,主题数据是为了面向主题的分析或加速主题应用的开发。

6.2 我的理解
主题数据顾名思义就是面向主题的数据。从这个特点上我们很容易想到有一类数据就是面向主题的数据,那就是数据仓库。与操作型数据不同,主题数据是分析型数据,是按照一定的主题域进行组织,服务于决策时所关心的重点方面。一个主题数据,可以是由多个主数据+交易数据组成。主题分析数据一般汇总的、不可更新的,是用于读的数据。

6.3 主要作用
主题分析数据或数据仓库,按照一定的业务主题域进行组织,服务于各种的数据分析或主题应用的开发。

6.4 应用范围
主题数据与行业或领域有较大的关系,不同的行业关注的主题是不一样的。即使同一行业,不同企业也有不同的主题数据定义。

6.5 应用举例
例如,某生产制造企业定义了12大主题数据,包括:综合服务、人力资源、财务管理、质量管理、生产管理、工艺管理、库存管理、销售管理、采购管理、设备管理、能源管理、安全环保。

7、数据资源目录
7.1 标准定义
目录服务将有关现实世界中的事物(如人、企业、计算机等等)的信息存储为具有描述性属性的对象。人们可以使用该服务按名称查找对象或者像使用黄页一样,可使用它们查找服务。这个定义解释了目录服务,所以数据资源目录,是对数据存储对象的描述,让人们能够方便、快速的找到所需要的数据。

7.2 我的理解
我所接触的数据资源目录的概念,源自于政务。早在02年左右国家相关部门就制定了政务资源管理的相关规范和标准。请参考:GB/T 7027-2002 信息分类编码的基本原则和方法;GB/T 21063-2007 政务信息资源目录体系。政务数据资源目录是通过对政务信息资源依据规范的元数据描述,按照一定的分类方法进行排序和编码的一组信息,用以描述各个政务信息资源的特征,以便于对政务信息资源的检索、定位与获取。

7.3 主要作用
政务信息资源目录是实现政务信息资源共享、业务协同和数据开放的基础,是各政务部门之间信息共享及政务数据向社会开放的依据。

7.4 应用范围
目前数据资源目录系统的应用在各个政府部门、事业单位已经非常普遍,尤其是在国家大数据战略布局的背景下,各个地方政府也在积极通过数字化的手段,整合各类信息资源,并在不同的委办局进行共享,目的是“让数据多跑路,让百姓少跑腿”!政务信息资源目录编制工作包括对政务信息资源的分类、元数据描述、代码规划和目录编制,以及相关工作的组织、流程、要求等方面的内容。

7.5 应用举例
你们是不是觉得数据资源目录管理,其实就是主数据管理+元数据管理,反正我是这么认为的。只不过是管理的对象,数据的来源不一样罢了。本质上都是实现数据的查询、定位、使用和数据的交换共享。

8、大数据
8.1 标准定义
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的4V特点:Volume(大量)、Velocity(快速)、Variety(多样)、Value(低价值密度)。

8.2 我的理解
大数据已经火了很久了。说起大数据,理论派(学术派)会说4V或5V,会讲啤酒和尿布、奥巴马竞选、流感预测……;技术流会说Hadoop、Spark,会用Java、R、Python……。所以我们不用去纠结什么是大数据,凡是你用到的、看到的、想到的,都可纳入大数据。我对大数据的理解是通过运用新技术对大量数据进行加工和处理,在某一特定业务领域,或某一环节、或某一点上产生价值,进而推动管理创新、技术创新和商业创新。目前大数据理论和技术都已经相对成熟,已经有了多个细分领域,如:算法研究、分析挖掘、数据治理、大数据运维、大数据开发等等。

8.3 主要作用
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。这个观点来自百科,本人非常认同。

8.4 应用范围
各行各业各领域均在准备或正在使用大数据技术尝试业务、技术或管理上的创新。需要详细了解的请找“度娘”。

9、数据湖
9.1 标准定义
数据湖Data lake,维基百科的定义:数据湖是一种在系统或存储库中以自然格式存储数据的方法,它有助于以各种模式和结构形式配置数据,通常是对象块或文件。数据湖的主要思想是对企业中的所有数据进行统一存储,从原始数据(这意味着源系统数据的精确副本)转换为用于报告、可视化、分析和机器学习等各种任务的转换数据。湖中的数据包括结构化数据从关系数据库(行和列),半结构化数据(CSV、XML、JSON的日志),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像、音频、视频)从而形成一个集中式数据存储容纳所有形式的数据。

9.2 我的理解
Data lake,第一次接触这个概念,是在2014年IBM组织的数据治理交流论坛上。当时认为数据湖就是一个概念,没什么新意。后来一些主流大数据厂商、云计算厂商都在推一个叫数据湖的技术,据说可以实现把不同结构的数据统一存储,我在想这不就是Hadoop干的活吗,本质上还是换汤不换药,还是概念上的。后来随着数据湖技术的不断发展,他可以更方便、更廉价的解决不同数据结构的统一存储问题。对于这个名词我更进一步认识到他应该是一种架构或者说是一个解决方案。

9.3 主要作用
利用大数据技术把不同来源、不同结构的数据统一存储,对支持对数据的快速加工和分析。
由于未成实践过,所以对其作用的真正认识还停留在概念,请见谅。

9.4 应用范围
基于云平台的大数据架构,更适合使用数据湖的技术。

9.5 应用举例
亚马逊的AWS数据湖解决方案,阿里、华为等公司也推出了数据湖,有兴趣的请百度


http://chatgpt.dhexx.cn/article/gtM6HSQ6.shtml

相关文章

SAP:物料主数据增强

一、MM01,MM02点击保存后,对输入值校验增强点:BADI_MATERIAL_CHECK 1.SE19创建实施:典型业务加载项,输入增强BADI:BADI_MATERIAL_CHECK 2.点击创建,输入实施名称: 3.查看接口方法:…

MDM主数据平台使用总结

随着科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,所用到的应用系统也会越来越多,业务发展中沉淀了大量数据,但是这些数据没有为企业带来直观价值,没有形成企业的数据资产,所以…

主数据管理平台功能模型介绍

科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,所上的应用系统也就越来越多,业务发展中沉淀了大量的数据,但是这些数据没有为企业带来直观的价值,没有形成企业的数据资产,所以越…

主数据及编码

之前做数据梳理的时候对主数据进行了一个总结,虽然项目没有很好的开展,不过对我来说也是有很多收获的,这里把之前用到的一些文档总结如下。 术语和定义 主数据 早期以 ERP 为代表的制造业集成应用系统的发展过程中,产生了信息孤岛…

什么是主数据?浅谈主数据的管理与应用

主数据是指满足跨部门业务,跨流程,跨主题,跨系统,跨技术,协同需要的、反映核心业务实体状态属性的组织机构基础信息,主数据具有权威性,全局性,共享性,扩展性等特点。 主数…

什么是主数据

原文地址:https://zhuanlan.zhihu.com/p/168672437 一:什么是主数据 概念: 维基百科 主数据 (Master Data): 在企业中用来定义业务对象的、具有持续性、非交易类的数据。相对于交易类数据,…

终于有人把数据治理的元数据、主数据等概念讲明白了

DAMA国际数据管理协会对数据治理定义:数据治理是对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。 数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,…

matlab拉普拉斯算子边缘提取_(二十四)用二阶微分(拉普拉斯算子)实现图像锐化...

时间为友,记录点滴。 我们已经了解过了梯度(一阶微分)的作用,那么为什么要引入二阶微分呢? 二阶微分的作用是什么? 还是看图说话: 很明显,一阶微分已经可以把轮廓辨识出来,但是,对于变化较缓的地方,一阶微分会给出一个比较长的序列,对应到图像上就是轮廓比较“粗”…

GCN频域视角相关——傅里叶变换、拉普拉斯变换、拉普拉斯算子、拉普拉斯矩阵、卷积

试图通俗地捋清标题名词之间的关系 0. 前置知识0.1 函数的正交0.2 什么是卷积?0.3 散度0.4 欧拉公式 1. 卷积与傅里叶变换1.1 傅里叶变换1.2 时域的卷积等于频域的乘积 2. 拉普拉斯变换3. 拉普拉斯算子4. 拉普拉斯矩阵与其特征向量5. 太长不看总结版extra 注&#x…

拉普拉斯算子的原理和matlab实现代码

一、基本原理 拉普拉斯算子是一种二阶导数算子,是各向同性的微分运算,具有旋转不变性,可以满足不同走向的图像边界的锐化要求。   对一个二维图像函数f(x,y),它的拉普拉斯算子定义为:   x方向上的二阶微分定义为:   y方向上的二阶微分定义为:   所以,对于数…

Robert算子、Sobel算子、拉普拉斯算子

文章目录 1.Robert算子2.Sobel算子3.拉普拉斯算子4.结果 1.Robert算子 // 1. Robert算子cv::Mat gray;cv::Mat dstRoX;cv::Mat dstRoY;cv::Mat dstRoM;cv::Mat kernelRoX (cv::Mat_<float>(2, 2) << 1, 0, 0, -1);cv::Mat kernelRoY (cv::Mat_<float>(2, 2…

了解拉普拉斯算子

了解拉普拉斯算子 1. Laplace算子的定义2. 转换成离散形式 1. Laplace算子的定义 直奔主题&#xff1a;Laplace算子被定义为函数梯度的散度&#xff0c;即&#xff1a; 在图像处理&#xff0c;我们知道经常把Laplace算子作为边缘检测之一&#xff0c;也是工程数…

高斯拉普拉斯算子

高斯拉普拉斯算子&#xff08;Laplacian of Gaussian&#xff0c;LoG&#xff09; 高斯拉普拉斯算子&#xff08;Laplacian of Gaussian&#xff0c;LoG&#xff09;提取图像 f ( x , y ) f(x, y) f(x,y)边缘&#xff1a; 图像平滑去噪&#xff0c;高斯低通滤波器&#xff08…

频域的拉普拉斯算子

频域的拉普拉斯算子 一、定义&#xff1a; 拉普拉斯算子可以使用如下滤波器在频率域实现&#xff1a; H ( u , v ) − 4 ∗ π 2 ( u 2 v 2 ) H(u,v) -4*\pi^2 (u^{2} v^{2}) H(u,v)−4∗π2(u2v2) 或者&#xff0c;关于频率矩阵的中心&#xff0c;使用如下滤波器&#…

matlab拉普拉斯算子锐化,cv-拉普拉斯算子锐化浅析

式(3.7.1)中的二维拉普拉斯数字实现可由这两个分量相加得到&#xff1a; 从而得到拉普拉斯算子 意思同上面的一阶微分算子相同。 这里解释一下微分算子的使用&#xff0c;很简单&#xff0c;如上面这个就是在处理每个像素点的RGB值时&#xff0c;将该像素的RGB三个值乘以4然后减…

拉普拉斯算子Laplace

拉普拉斯算子Laplace 概述二阶差分算子模板应用原理python代码实现opencv代码效果展示 概述 定义&#xff1a;拉普拉斯算子是n维欧几里德空间中的一个二阶微分算子&#xff0c;是用二阶差分来计算图像的边缘。 拉普拉斯算子是一种各向同性微分算子&#xff0c;它具有旋转不变性…

Laplace operator 拉普拉斯算子

一 概要介绍 我们主要关注拉普拉斯算子在图像方面的应用。首先&#xff0c;列出二维拉普拉斯算子的定义&#xff1a; Δ f ∂ 2 f ∂ x 2 ∂ 2 f ∂ y 2 \Delta f \frac{\partial^2f}{\partial x^2} \frac{\partial^2f}{\partial y^2} Δf∂x2∂2f​∂y2∂2f​ 从公式中可…

通俗理解拉普拉斯算子(Laplace)

离散的一阶微分 离散的一阶微分定义为差分&#xff0c;如二维离散函数 f ( x , y ) \ f(x,y) f(x,y) (图像其实就可以看作一种二维离散函数&#xff0c;因为其反映的是不同像素点在x 和 y 轴方向上灰度的变化)在 x 方向上的一阶微分为 : σ f σ x f ( x 1 , y ) − f ( x ,…

拉普拉斯算子

文章目录 哈密尔顿算子梯度散度拉普拉斯算子图像处理——拉普拉斯算子 在介绍拉普拉斯算子概念之前我们先介绍&#xff0c;哈密尔顿算子&#xff08; ∇ \nabla ∇&#xff09;&#xff0c;梯度&#xff0c;散度等概念 哈密尔顿算子 所谓哈密尔顿算子即为某一物理量在笛卡尔坐…