数据治理【主数据管理】

article/2025/8/25 7:08:54

目录

1.摸家底

1.1 数据资源普查

1.2 主数据识别

1.3 数据管理能力评估

2.建体系

2.1 组织体系

2.2 标准体系

2.3 制度与流程体系

2.4 技术体系

2.5 安全体系

3.接数据

4.抓运营

4.1 主数据管理

4.2 主数据推广

4.3 主数据质量

4.4 主数据变现


    我们知道主数据项目的建设是一个循序渐进、持续优化的过程,不可一蹴而就。个人理解主数据管理项目从咨询规划到落地实施再到初步见效需要经历四个阶段,简单归结为12个字:“摸家底、建体系、接数据、抓运营”

1.摸家底

摸家底需要全面调研和了解企业的数据管理现状,以便做出客观切实的数据管理评估。

1.1 数据资源普查

数据资源普查的方法常用的有两种,一种是自顶向下的梳理和调研,另一种是自底向上的梳理和调研。

1.2 主数据识别

主数据的识别一般分为四个步骤
  • 第一步,确定主数据识别指标。
  • 第二步,基于主数据识别指标,构建评分体系,确定指标权重。
  • 第三步,根据业务调研和数据普查结果,确定主数据参评范围。
  • 第四步,依据评分标准,识别出企业主数据。
1.2.1 主数据识别指标,主要从主数据的特征考量
  • 业务价值:主数据具备充足的业务价值。主数据描述企业最核心的数据,是企业最有价值的数据资产。
  • 数据共享性:主数据一般是不同业务部门之间、不同业务系统之间高度共享的数据。
  • 实体独立性:主数据是不可拆分的数据实体,如产品、客户,是所有业务行为和交易的基础。
  • 识别唯一性:在组织范围内同一主数据要求具有唯一的识别标志,如物料、客户都必须有唯一的编码。
  • 相对稳定性:与交易数据相比主数据是相对稳定的,变化频率较低。
  • 长期有效性:主数据一般具有较长的生命周期,需要长期保存。
1.2.2 建立评分体系,确定指标权重
评价指标
指标权重
打分标准
备注
业务优先级
30%
示例
共享程度
20%
唯一性
20%
变化频率
10%
独立数据实体
10%
长期有效
10%
1.2.3. 数据资源普查和参评数据准备,主要是根据前期的业务调研情况和数据普查情况,确定参评数据范围,并准备出参评数据。
1.2.4. 以及打分模板进行打分,识别出企业主数据。

1.3 数据管理能力评估

对于数据管理能力的评估,目前已经有了比较成熟的评价模型,典型的有:
  • IBM数据治理成熟度评估模型,推荐阅读 IBM的《数据治理统一流程》一书。
  • SEI的数据能力成熟度模型(DMM)。
  • EDM的数据能力成熟度模型(DCAM)。
  • DataFlux 数据治理成熟度模型。
  • Oracle MDM 主数据管理成熟度模型。
  • MD3M 主数据管理能力成熟度模型。
国内,全国信息技术标准化技术委员于2014年会启动了《数据能力成熟度评价模型》的制定工作。数据能力成熟度评价模型(Data Capability Maturity Model 简称DCMM)是国内关于数据能力成熟度模型的一项国家标准,在制定的过程中充分吸取了国内先进行业的发展经验(以金融业为主),结合了国际上DAMA(国际数据管理协会)《数据管理知识体系指南DMBOK》中的内容。

2.建体系

我国大多数企业的主数据现状普遍都是先污染、后治理的过程,主数据管理必然带来新的标准、体系的确立和旧系统的改造。整个主数据建设过程是一个有破有立、无破不立的过程。这一过程设计大量跨部门、跨条线、跨系统的沟通协调,同时也涉及不小的投资。为了不使投入的人力物力付之东流,在项目实施前期就应该规划好各项规章制度和组织架构。

2.1 组织体系

有效的组织机构是项目成功的有力保证,为了达到项目预期目标,在项目开始之前对于组织及其责任分工做出规划是非常必要的。
主数据涉及的范围很广,牵涉到不同的业务部门和技术部门,是企业的全局大事,如何成立和成立什么样的组织应该依据企业本身的发展战略和目标来确定。
建立主数据管理组织目标是:统筹规划企业的数据战略;建立主数据标准规范体系、数据管理制制度和流程体系、数据运营和维护体系;依托主数据管理平台,实施主数据标准化落地、推广和运营。
在明确了组织机构的同时,还要明确主数据管理岗位,比如:主数据系统管理员、主数据填报员、主数据审核员、数据质量管理员、集成技术支持员等。

2.2 标准体系

  • 主数据分类就是根据信息内容的属性或特征,将信息按一定的原则和方法进行区分和归类,并建立起一定的分类系统和排列顺序,以便管理和使用信息。
  • 主数据编码就是在信息分类的基础上,将信息对象赋于有一定规律性的、易于计算机和识别与处理的符号。
  • 主数据模型标准化,根据前期的调研、梳理和评估,定义出每个主数据的元模型。明确主数据的属性组成、字段类型、长度、是否唯一,是否必填以及校验规则。

2.3 制度与流程体系

制度章程是确保对主数据管理进行有效实施的认责制度。建立主数据管理制度和流程体系是需要明确主数据的归口部门和岗位,明确岗位职责,明确每个主数据的申请、审批、变更、共享的流程。
数据从创建到流转要严格执行企业主数据标准和填报规范。 同时做好数据运营工作,定期检查数据质量,进行数据的清洗和整合,实现企业数据质量的不断优化和提升。

2.4 技术体系

技术体系的建设应从应用层面和技术层面两个方面考虑。
应用层面主数据管理平台需具备元数据(数据模型管理)、数据管理、数据清洗、数据质量、数据集成、权限控制、数据关联分析,以及数据的映射(mapping)/转换(Transforming)/装载(loading)的能力。技术层面,重点考虑系统架构、接口规范、技术标准。

2.5 安全体系

主数据安全体系建设包括几个方面:
• 网络安全。尤其是混合云下的数据安全是当前客户最关注的问题。这里建议基于混合云部署的主数据系统采用单向数据流控制,即只允许公有云数据向内流入,不允许私有云数据向外流出。
• 接口安全。即接口数据的传输安全。由于主数据解决的是异构系统的数据一致性问题,需要保证主数据在给异构系统同步数据的过程的数据安全。主数据平台须具备接口的访问控制和加密传输的能力。
• 应用安全。主数据平台的身份认证、访问控制、分级授权、安全审计功能是保障系统应用安全的重要功能。
• 数据安全。主数据平台提供的数据加密存储、加密传输、脱敏脱密功能,是保证主数据安全的重要措施。

3.接数据

接数据包括主数据的接入和接出。
主数据接入是将主数据从数据源系统汇集到主数据平台的过程。该过程需要对接入的数据进行清洗、转换、映射、去重、合并、加载、共享等,通过一系列的数据加工和处理形成标准统一的主数据。
常用的数据汇集到数据应用方式:
• ETL抽取,采用ETL工具的方式从数据源系统将数据采集到主数据库中。
• 文件传输,采用文件传输方式将文件中的数据导入到主数据库中。
• 消息推送,采用消息的方式从数据源系统将数据采集到主数据库中,一般需要借助ESB。
• 接口推送,采用接口方式从数据源系统将主数据采集到主数据库中,一般需要借助ESB。
• 内容爬虫,一般用于互联网的数据爬取,适用于社会化主数据的汇集。
• 主数据的接出,是将标准化的主数据分发共享给下游业务系统使用的过程。在主数据接出的过程中使用的技术与数据汇集技术基本一致。在企业实施主数据过程中,需要根据不同场景选择不同的集成方式。
• 定期数据共享,一般采用ETL或接口方式定期将主数据抽取到业务系统指定的数据表中。
• 实时数据共享,一般采用消息订阅的方式,通过数据接口将主数据推送给业务系统。

4.抓运营

主数据是企业核心数据资产,主数据质量的好坏决定了数据价值的高低,主数据运营最核心的目标就是提升数据质量。其主要包括:主数据管理,主数据推广、主数据质量、主数据变现等。

4.1 主数据管理

数据标准和管理规范的常态化贯彻。主数据管理主要是对主数据的新增、变更、使用等过程的规范,需要配合企业主数据管理的相关制度和流程,做到定岗定责、责任到人,从源头上控制好数据的质量,保证数据的唯一数据源和统一数据视图。

4.2 主数据推广

主数据推广是逐步将主数据推广到企业的各个业务中,包括线上、线下业务。主数据的应用不仅需要推广各个相关的业务中,保证各业务系统的主数据一致性。

4.3 主数据质量

主数据是企业核心数据资产,主数据质量的好坏决定了数据价值的高低,整个主数据运营过程最核心的目标就是持续提升数据质量。主数据质量管理包括:主数据质量指标定义,主数据质量模型/算法,主数据质量核查,主数据质量整改,主数据质量报告,主数据质量考评等。

4.4 主数据变现

上文我们提到:主数据是企业核心数据资产。既然是“资产”就一定有其变现的能力,主数据变现主要有以下几个方面:
  • 整合协同、降本增效:各系统主数据的标准统一,解决数据重复、不一致、不正确、不准确、不完整的问题,打通企业的采购、生产、制造、营销、财务管理等各个环节,大大提升业务之间协作的效率,减低由于数据不一致引起的沟通成本。
  • 增加收入、提升盈利:建立360°客户主数据视图,建立客户关系模型,支撑企业精准营销,提升盈利水平、增加销售收入。
  • 数据驱动、智能决策:相比基于本能,假设,或认知偏见而做出的决策,基于数据的决策更可靠。通过数据驱动的方法,你将能够判断趋势,从而展开有效行动,帮助自己发现问题,推动创新或解决方案出现。
  • 数据 即服务 即资产:一方面,可以通过主数据优化内部运营管理和客户服务水平;另一方面,通过对主数据进行整合,结合各种不同的用户场景提供给客户或供应商,从而实现整个产业链的打通。

http://chatgpt.dhexx.cn/article/YBSt3pV8.shtml

相关文章

主数据建设思路分享

J企主数据方案分享 (一):主数据现状、问题分析及客户诉求 J企的主数据实施业务方案已经签署,主数据平台开发方案也基本敲定,接下来推进历史数据规整方案和各业务系统优化方案的制定。 在此与各位同学分享主数据方案…

数据治理系列(三):主数据管理

主数据项目建设从方法上,分为以下四部,简单归结为12个字:“摸家底、建体系、接数据、抓运营”! 一、摸家底 摸家底需要全面调研和了解企业的数据管理现状,以便做出客观切实的数据管理评估! 1、数据资源普查 数据资源普查的方法常用的有两种,一种是自顶向下的梳理和调…

数仓建模—主数据管理

主数据管理 前面我们介绍过元数据管理,其实关于元数据我们称之为数据的数据,或者说是描述数据的数据,其实除了元数据之外,我们还有主数据,也就是元数据的描述对象。 元数据为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字…

主数据项目交付最佳实践

任何规模的企业都会存在各种各样的数据问题,主数据管理早在十几年前就已经是企业信息化建设中的一部分,由于企业普遍对此缺乏正确的认识、系统个数较少、数据混乱现象不明显等原因,导致主数据管理这一手段并没有被企业真正的重视起来&#xf…

【数据治理】数据元、元数据、主数据、参考数据概述

【数据治理】数据元、元数据、主数据、参考数据概述 数据元 什么是数据元: 《GB/T 19488.1 电子政务数据元第1部分:设计和管理规范》 里是这样定义的: 数据元(Data element):又称数据类型,通…

MDM主数据管理平台开发精要

随着企业业务迅速发展,需要支撑业务运转的信息系统越来越多,各系统之间数据分散、重复,未完全形成业务闭环,数据孤立不能互通,数据统计不一致,企业主数据(组织、人员、项目、客户、供应商、产品…

一文理解主数据和参考数据

如果你准备要开展推动数据治理或者是数据质量的项目,那么你就有可能会听说到几个词:主数据和参考数据。一开始听到主数据这一词听起来就很高大上,而且非专业人士肯定不理解(即便是从事数据行业的朋友也很难参透)。这一…

主数据治理平台培训规程

主数据管理平台打通各业务链条,消除不同部门重复录入数据造成的数据冗余。统一数据语言,统一数据标准,实现数据同源、数据共享,最大程度提高数据的权威性。同时也可以作为公司内部业务运转、经营分析、决策制定的“通用语言”&…

主数据同步与分发实现

随着企业的发展,各项数据的权威性显得尤为重要,针对解决企业的基础数据治理以及传输问题,数通畅联开发出了MDM主数据管理平台。主数据治理方案可以将企业的组织、人员、客户、供应商等高度共享的数据进行统一管理,对需要的业务系统…

数据治理——主数据项目实施

文章目录 一.主数据定义1.数据的层次模型(根据数据的特征、作用以及管理需求的不同)2.主数据涵盖了元数据、引用数据、企业结构数据、业务结构数据 二.传统的软件项目实施三.主数据项目四.主数据项目详细规划第一阶段(体系规划阶段)第二阶段:…

关于数据元、元数据、主数据、交易数据、主题数据、数据资源、大数据、数据湖等数据相关概念理解和总结

注:本文于2019年1月31日发表于微信公众号 谈数据(learning-bigdata),本公众号将于4月21日发布一篇关于《数据治理之元数据管理》的文章,有兴趣可以扫描下方二维码关注。 在和一些客户、同事聊数据的时候,发…

数据元、元数据、主数据、交易数据、主题数据、数据资源、大数据、数据湖等数据相关概念理解和总结

1、数据元 1.1 标准定义 [GB/T 18391.1-2002,定义3.14] ,用一组属性描述定义、标识、表示和允许值的数据单元,数据元由三部分组成:对象、特性、表示。 1.2 我的理解 数据元是组成实体数据的最小单元,或称原…

SAP:物料主数据增强

一、MM01,MM02点击保存后,对输入值校验增强点:BADI_MATERIAL_CHECK 1.SE19创建实施:典型业务加载项,输入增强BADI:BADI_MATERIAL_CHECK 2.点击创建,输入实施名称: 3.查看接口方法:…

MDM主数据平台使用总结

随着科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,所用到的应用系统也会越来越多,业务发展中沉淀了大量数据,但是这些数据没有为企业带来直观价值,没有形成企业的数据资产,所以…

主数据管理平台功能模型介绍

科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,所上的应用系统也就越来越多,业务发展中沉淀了大量的数据,但是这些数据没有为企业带来直观的价值,没有形成企业的数据资产,所以越…

主数据及编码

之前做数据梳理的时候对主数据进行了一个总结,虽然项目没有很好的开展,不过对我来说也是有很多收获的,这里把之前用到的一些文档总结如下。 术语和定义 主数据 早期以 ERP 为代表的制造业集成应用系统的发展过程中,产生了信息孤岛…

什么是主数据?浅谈主数据的管理与应用

主数据是指满足跨部门业务,跨流程,跨主题,跨系统,跨技术,协同需要的、反映核心业务实体状态属性的组织机构基础信息,主数据具有权威性,全局性,共享性,扩展性等特点。 主数…

什么是主数据

原文地址:https://zhuanlan.zhihu.com/p/168672437 一:什么是主数据 概念: 维基百科 主数据 (Master Data): 在企业中用来定义业务对象的、具有持续性、非交易类的数据。相对于交易类数据,…

终于有人把数据治理的元数据、主数据等概念讲明白了

DAMA国际数据管理协会对数据治理定义:数据治理是对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。 数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,…

matlab拉普拉斯算子边缘提取_(二十四)用二阶微分(拉普拉斯算子)实现图像锐化...

时间为友,记录点滴。 我们已经了解过了梯度(一阶微分)的作用,那么为什么要引入二阶微分呢? 二阶微分的作用是什么? 还是看图说话: 很明显,一阶微分已经可以把轮廓辨识出来,但是,对于变化较缓的地方,一阶微分会给出一个比较长的序列,对应到图像上就是轮廓比较“粗”…