企业的主数据建设方法论与实践

本篇文章为亿信华辰《企业的主数据建设方法论与实践》视频直播稿件。

这次我的主题是企业的主数据建设方法论与实践，相信大家来听这场直播，都是对主数据建设比较感兴趣的，同时我也希望能够通过这样一场分享，给大家在主数据的建设过程中提供一些思路。

现在我们就正式进入这个主题，这次分享主要分成6个部分，第一部分主要是介绍企业现在的主数据管理现状；第二部分，我们再来总结下主数据的定义和特性；第三部分我们看看主数据管理的意义和价值在哪里；紧接着第四部分我们说说主数据管理这样的一个项目建设，它的体系是怎样的；接下来第五部分就是我们本次直播的重点，即主数据管理实施方法论的介绍；最后第六部分介绍下亿信华辰的主数据管理的案例。

一、企业主数据的管理现状

1.企业目前的数据架构

众所周知，在大部分企业的发展过程中，随着业务的扩张，企业的业务系统会越建越多。与此同时伴随着各业务系统的交叉，会出现一些公共的数据，如图所示，它会被不同的业务系统调用，当调用关系越来越复杂时，一旦有一个地方数据出现问题，它可能会蔓延到更多的系统里，从而出现更多的问题。而更严重的问题是很难溯源找到背后的原因。

因此我们需要去做主数据管理工作，搭建一个主数据平台，通过这样的一个平台去统一管理主数据，统一进行分发，从而将错综复杂的关系简单化。最终我们只需要管理好主数据，就能提高数据的调用效率，也能支撑企业的业务经营管理。

2.先进企业历程分享

接下来，我们分享一个先进企业的主数据建设历程。如图所示，这是一家石油企业前后花了10年时间做的物料主数据管理，从最开始的10个子类扩展到最后的56个大类，数据也从10万条增加到300万条，这样庞大的数据如果要做一些精细化管理肯定是比较有难度的。

所以这家石油企业通过主数据管理，去实现集团的集中管控，比如像与物料相关的一些监控表，从原来的月报变成了实时可查询的统计，这样能帮助企业提高决策的时效性；同时与物料有关的采购也节约了500多个亿。这样的主数据管理给企业带来的成效是非常大的。

二、主数据的定义与特性

1.主数据的定义

主数据是指满足跨部门业务协同需要的，反映核心业务实体状态属性的基础信息。举个例子，公司的员工信息，存在于很多业务系统里，比如人力系统、财务系统、OA系统，以及考勤系统等，但每个系统所需要的信息可能不一样，财务系统需要员工开放信息，比如从哪个银行开户，账号是什么，这样方便打款；人力系统可能只是需要员工的一些入职信息。

这样的员工信息就属于主数据，它在很多企业业务系统被使用，同时还能反映这个员工本身的一些属性。类比下，还有产品、物料、客商、客户、供应商等主数据。

2.哪些数据是主数据？

一家企业不只有主数据，还有一些其他数据，这里有一个金字塔结构的企业数据模型，包括关键的基础数据、主数据、业务数据、报表数据。

基础数据可以理解为基本不会发生什么变化的，比如国家货币计量单位，其他维表数据等，其数据就是一些取值范围，也称其为参考数据；主数据就是长期稳定的，能被多个系统使用的，比如组织机构人员、客商等；业务数据是指一些业务交易系统所产生的数据，包括订单的记录、还有一些考勤记录等，与主数据捆绑的比较紧；报表数据是基于下面三类数据做的一些分析呈现，报表数据的主要作用是通过结果呈现来做预测工作。

3.主数据、业务数据与元数据的区别

如图所示，表头就是元数据，这些字段本身描述了字段的一些属性信息；而主数据其实就是这样的一条记录，这条记录可以划分为两部分，一部分是主数据，描述核心业务实体属性的数据，另外一部分就是主数据在业务交易过程中由系统产生的数据，比如这块的订单数据就是业务数据。总的来说，所有这些数据作为企业的一部分，只要能产生价值，它都可以称之为数据资产，能去支撑企业上层的生产、财务、项目管理等。

4.主数据的4个特性

（1）唯一性：在一个系统、一个平台甚至一个企业范围内同一主数据要求具有唯一的识别标志（代码、名称、特征描述等），用以明确区分业务对象、业务范围和业务的具体细节。

（2）共享性：主数据特征会被作为业务流程的判断条件和数据分析的具体维度层次，因此需保证主数据的关键特征在不同应用、不同系统中的高度一致共享，形成统一规范。

（3）稳定性：主数据作为用来描述业务操作对象的关键信息，在业务过程中其识别信息和关键的特征会被交易过程中产生的数据继承、引用、复制，但主数据本身的属性通常不会随交易的过程所被修改。

（4）有效性：只要该主数据所代表的业务对象仍然在市场中继续存在或仍具有意义，则该主数据就需要在系统中继续保持其有效性，通常贯穿该业务对象在市场上的整个生命周期甚至更长。

三、主数据管理的意义

前面我们说完了主数据的4个特性，我们再来看看主数据若是出现问题，会对业务造成什么样的影响。如图所示，这两条数据是同一个物料吗？

我们可以看到这里少了一个度，并且编码是不一样的，但从这个主体来说，它是同一个物料，但是却存在两条记录；像第二个也是，它的编码只差了一个0，但编码的却是两个；下面的数据也同样如此，当企业在做物料的预算时，由于找不到到底是那条数据缺失了，所以他没办法做一个准确的预算。对于采购也是如此，当业务系统里存在两条采购数据，这样就会导致一些大量的重复采购，从而浪费资源。因此主数据管理的意义主要表现在以下4个方面：

1.帮助跨部门协同

企业数据资产的维护需要站在公司的高度，协同各个部门共同完成，主数据是在各个业务部门被重复使用的数据，其管理兼具技术和业务的双重因素，因此做好主数据管理能帮助跨部门协同。

2.便于开展数据治理工作

主数据管理项目初期不涉及交易系统改造。主数据问题解决好了，公司的数据资产框架就理顺了，数据质量、数据及时性等将明显提升，便于继续开展其他数据治理、信息化、数字化工作。

3.赋能数字化转型的需求

数字化转型需要以客户需求为出发点，各部门通力协作，而当前行业技术业务分割明显，主数据管理过程也锤炼了跨部门的协同，通过加速科技和业务的融合，建立公司范围内通用的主数据规范，以保证数据的一致性和管理报表的合并，这是公司进行其他业务变革成功的基础之一。

四、主数据项目管理体系建设

1.规划阶段

这个阶段主要是组织的建设、制度的建设，以及目标的确定，也就是我们主数据到底要做哪些内容，其范围涉及哪些系统。

2.数据标准阶段

更多是做一些主数据的管理，比如我们需要确定这一期项目到底做哪些，分类是什么，比如物料主数据的分类，与此同时还有主数据的编码是怎样的，有什么标准，然后还有一些类似于“我的”这样的属性到底有哪些。

3.治理阶段

这一阶段更多的是对各类主数据进行采集、清洗、整合，完成一些历史的主数据的预处理工作。

4.落地阶段

主要是将前面所有梳理好的属性与分类，以及历史主数据治理好后，搭建一个平台去做呈现。以一个物资示例来说，通过主数据的管理，实现了业务上的集中管理，比如，统一的物资分类及编码体系可提供一套“共同语言”，促进企业在供应链业务各方面的集中管控，并作出以事实为基础的决策。

在整个供应链的过程中也起到一些作用，比如在采购方面，避免了重构采购节约了成本；在销售方面，由于基于统一的分类和规格标准，在做扣利润分析、产品销售分析时更加准确；在仓储物流方面，因为有统一的高质量的主数据，减少了重复的储备，在管理效率上也能有很大的提升。

五、主数据项目管理实施架构

我们这里其实可以看到这样的一个主数据项目管理这样的一个实施的框架。这个框架其实分成4大部分，第一个就是现状分析与评估，第二个就是体系的规划，第三个就是实施方案，最后就是一个平台落地部署的工作。

1.现状分析与评估

这一阶段做的事情就是前期的需求调研，主要目的是获取企业主数据的管理现状，以及存在哪些问题。这个过程中，我们也会搜集这个行业比较好的实践案例，以及国家是否有出台相关的标准，这些都能方便去了进行现状分析与评估。

2.管理体系规划

基于组织的目标，我们就可以去做一些规划，在规划的过程中，我们更多的是做各类架构的设计，包括一些制度的建立，考核评价，以及制定一些标准规范等。

3.主数据实施方案

这一阶段主要是对每一项做分解，比如编码规则是什么，有怎样的分类。它有哪些属性，以及在这个过程中，还涉及历史主数据的整合，还有清洗、分发、集成的策略等等。最后还有主数据在使用过程中，如何做更好，如何慢慢地切换到一个统一的平台上，这些都是实施方案所需要关注的。

4.主数据平台搭建

这个平台搭建就是将我们前期所有做的工作的线上化，这样就能让主数据管理更加规范精细化，效率也能更高。

六、主数据项目管理的6大步骤

主数据项目总体上遵循常规项目6大步骤：启动、计划、需求分析与设计、实现、测试验收、售后运维。这里我们主要重点介绍下实现阶段的内容，测试验收和售后运维就不多做讲解。

1.启动阶段

启动阶段主要包括识别项目目标、组建项目团队、召开项目启动会。

识别项目目标就是要做一个主数据识别，主数据识别可以从两方面去考虑，第一个就是通过一些已知的分析维度，以及业务影响程度等，还有数据共享程度比较高的，或者说数据需求比较迫切的，我们都可以将其纳入主数据范围。除此以外，还可以通过一些成熟的工具做一些分析，通过这样的工具去对接业务系统，从而识别企业到底有哪些主数据，然后这些数据分布在哪里。

第二个就是组建项目团队，如图所示，项目管理也是这样去组建团队的，比如项目领导小组有项目总监、项目经理，还有一些各种不同的角色的实施人员，除此以外，还配备一些专家的团队做支持。

2.计划阶段

计划阶段我们主要关心两部分内容，第一是实施落地的工作，第二是主数据集成开发的工作。这里按照我们前文中说的框架体系去做即可。这里我们重点说一下集成开发这块的工作。

我们在需求调研阶段，以及咨询规划阶段，了解了业务主数据来源于哪些系统，最后用于哪些系统，以及分发到哪些系统；以及我们的平台如何与业务系统做对接，是用表对接，还是接口对接；同时整个实施过程中还要做一些并行的工作，因此前期要去了解收集这样的一些信息，这样才能让整个项目的进行的比较顺利。

3.需求与设计阶段

这一阶段也称为需求调研阶段，主要从两方面去看，一个是业务方面，一个是技术方面。

我们主要是通过访谈问卷，或者面对面的交流以及一些数据抽取的手段去获取企业主数据的信息和现状，具体的调研示例如下

除了需求调研，还有一个重要的板块是管理制度设计，这里采取三层的架构——决策层、管理层、执行层。

另外主数据的建设并不是IT部门或者信息科技部门就能决定的，正如前文中提到的主数据含有业务实体属性，需要在业务系统里被使用，因此一定需要业务负责人的参与，一起来共同推进。

而对执行层来说，主要是需要和业务部门一起定义数据的标准模型分类，共同推进。当然在主数据平台管理过程也需要信息管理员来对数据进行审批等，以上这些角色都是在整个组织架构建设时提前定义好的。

4.实现阶段

在具体的实现阶段有10项工作要去做，这些工作可以并行考虑，包括数据标准化，分类编码属性管控、流程整合以及切换策略等等，下面我们具体来看看。

（1）主数据标准化体系

以物料为例，完整的物料标准化体系主要包括两大部分内容，一是物料数据标准的制定，二是支撑物料数据标准化管理相关的组织机制与技术平台等基础能力的建设。在此体系下确保逐步改善物资数据质量，最终实现标准化。

（2）分类设计原则

分类设计的原则主要有4点，第一是不重不漏；第二是粗细颗粒度要合理；第三是要满足业务需求；第四是要符合行业习惯，如图所示。

这里有一个很重要点是，在整个分类设计的过程中，实施人员要反复与客户进行确认。因为一旦分类没有做好，后续可能导致大量的重复录入，并产生很大的影响。这里有一个分类的示例，大家可以参考下：

当然，我们亿信华辰的主数据管理平台也是可以做分类的效果展示，如图所示，可以将我们前面做好的分类，直接在平台上进行维护，这样我们就可以很方便的去做一些分类管理，以及每一种分类对应哪些物料数据。

（3）编码设计

编码设计也有一些原则需要去遵守，比如编码要有全局性，唯一性、适度性、灵活性、扩展性等。对于唯一性与扩展性，换句话说，当一些新的物料数据进来以后，我们能方便添加更多的编码进来，而此时的编码也需要是唯一的，也就主数据编码只能对应一个确定的实体对象。

这里的编码通常有三种方式，即顺序码、层次码、组合码，他们各有优缺点，如图所示：

编码制定的过程也是需要进行大量的讨论和确认，才能形成一个好的编码方案。在现实中，正是因为企业编码不统一、造成了后续采购以及存储等一系列问题，所以编码方案一旦确定出来，实施人员就需要与客户的高层进行确认。如图所示的编码结构示例，它是一个组合码。

亿信华辰的的主数据管理平台，也是可以做这样的编码的，如图所示，左边是编码规则的制定，在这个过程中，看到有许多种规则，包括固定字符，流水号，以及从数据层进行取数，这样的编码方式可以覆盖更多的场景，包括顺序码、层次码以及组合码。

（4）属性标准梳理

属性标准梳理我们可以去参考一些标准，比如外部的国际标准、国家标准；业务层面上的行业标准和制度要求等；另外在进行属性梳理时，我们HIA可以从源系统中参考数据字典，查看一些代码表；最后我们也可以借鉴一些好的实践经验与成果来进行属性标准的梳理。

在进行主数据属性标准梳理时，我们可以从业务标准、技术标准、管理标准三个层面来进行。比如业务层面，我们需要理解属性到底属于哪一个分类，属性名称是什么，有怎样的业务规则；技术层面，我们可以定义属性，以及类型长度精度等；管理层面我们可以梳理谁来创建，谁来使用，谁在维度等，提前将其确定出来，方便后续制定这样的制度，如图所示是一个属性标准的示例。

在亿信华辰的主数据管理平台上，我们可以进行属性标准的梳理，如图所示，员工编码梳理完之后，落地到平台上，它的名称标题以及中文名称是怎样的，是什么类型数据，这些都可以通过平台进行梳理，然后再在前端设置一些填报的效果等等。

（5）管控流程设计

数据之所以会存在很多问题，以及需要推翻重建，很多时候是在业务系统建设过中没有进行流程审核以及校验。因此我们在进行主数据管理过程中，需要重视管控流程设计。

比如，当定义了两种模型，在模型的新增、变更和失效时，是否有流程做一些控制；在进行数据层面的管理工作时，是否有流程能能监测数据的变更、冻结或者失效。另外，我们可能还会涉及一些质检和审批，在审批没有问题，才能去做分发。

这里亿信华辰主数据管理平台能提供这样的审批方式，可以通过工作流平台去绑定工作流，去做一些流程设计，或者与企业里一些成熟的流程系统做对接，然后通过企业的系统进行流程上的管控。除此以外，还可以在亿信华辰的主数据管理平台绘制流程，指定相应的审批人员，办理人员以及设置办理期限等，最终起到规范数据的作用。

（6）历史数据整合、清洗

这个过程主要分成6个步骤，分别是数据接入、初步标记、分类清理、先分后合、整理清洗、检查反馈。

①第一步：通过接口或者ETL工具去接入历史的主数据；

②第二步：看数据存在什么问题，是否有一些属性没有填写，或者说分类不对需要做初步的标记；

③第三步：如果存在问题，就需要将分类标记的数据分配到不同的业务部门进行清洗，由于业务人员来进行整理；

④第四步：先分后合，对分类清理完的数据进行合并汇总检查；

⑤第五步：整体清理，按照整体业务逻辑进行清理，如果数据量比较大，可以借助工具进行批量处理，并将处理完成的数据做好整合；

⑥第六步：检查反馈。

亿信华辰的主数据管理平台能提供数据整合，比如利用数据集成工具，可以通过托拉拽一些组件实现连接。一些业务系统里的主数据，也可以通过组件进行初步的标记。当然这是通过工具层面去做这个事儿，若是人工来处理，也可以通过一些模板工具导入平台来进行。

（7）数据切换策略

这里提供三种切换的策略，第一种是完全采用主数据管理平台；第二种是通过映射实现与旧数据的对接；第三种是通过映射和逐步数据切换的方式开展，逐步实现所有系统都使用统一的主数据，具体的优缺点和适用场景如图所示。

（8）数据生产与维护策略

在数据生产和维护方面有两种策略，一种是集中式，即所有的数据新增、变更、删除以及管理全过程都在主数据管理平台上来进行，统一的管理，统一的分发；另一种是分布式，即通过在某个单一的业务系统里去对某一类的主数据，进而做新增、变更与删除，然后主数据平台及时去同步业务系统的数据，并向企业业务系统去做分发，这时的主数据平台就起到一个中间桥梁的作用。

这一类分布式管理比较适合于单一可信的来源，且不受其他业务系统影响的主数据，比如人力数据，OA系统在各自的系统里维护的比较好，数据质量也比较高，就比较适合分布式的管理方式。

（9）主数据分发策略

主数据的分发方式有三种，第一种是通过接口对接与分发，当企业业务系统可以做一些改造，可以对接ESB。这种方式是由业务系统主动获取数据，适用于业务系统对主数据实时性要求比较高的情况。

第二种是通过交换任务分发，比较适合批量数据的获取，比如前期主数据管理管理维护好以后，通过批量的方式把数据推送到某个业务系统中去。这种方式支持定时任务执行，适用于业务系统需要批量获取主数据的情况。

第三种是通过文件分发，即通过离线文件的方式分发数据，适用于系统繁忙情况下的批量分发。如图为亿信华辰的主数据管理平台的分发效果，提供了大量的接口，还支持自定义接口，以及多个表关联后的数据再做分发等，都能借助平台实现，除此以外，我们还有分发的配置，支持接口库表，同时还有一些数据集成的工具，可以设置一些任务，以任务的方式来做分发。

（10）主数据集成示例

这里是一个主数据集成的示例，就是主数据管理平台还可以通过工具与各个业务系统去做对接集成，包括主动的方式去推数据，也包括被动的方式去拉数据，至于怎么去做，同步或者异步都可以，还可以做日志的预警。

七、案例解析

1.案例背景

某集团是稳居中国企业500强前列的大型民营股份制企业，现有员工4万多人，年产值过1000亿。目前形成了以铝业、纺织服饰、西海岸新区、金融、地产、教育、旅游、健康、航空等为主导的多产业并举的发展格局。

（1）建设原因：大数据建设起步晚，数据资产没有得到充分利用

集团已经建立了包括财务管理、资产管理、人力资源管理在内的多个信息系统，且运行多年，积累了一定数量的各类型数据。但过去信息化建设遵循的理念是“业务驱动”而非“数据驱动”，忽略了对数据本身的关注，没有充分挖掘和利用数据的价值。

（2）信息化现状：集团较完善，各下属企业信息化程序参差不齐

集团管控层面信息化系统比较完善，比如：人事系统、财务系统、供应链系统、客户和销售系统、固定资产管理系统、流程审批系统；但各下属企业信息化程度参差不齐，主要为ERP+特定领域专用系统，并由众多计划中MES系统

2.主数据管理的目标

这个项目的目标是要在整个集团内实现数据的标准化和一致性，同时提升数据质量，另外把主数据的接口能够露出来，为各个业务系统快速提供数据。同时也希望能够建立自己的数据管控团队，让整个数据运转起来，数据的管控过程越来越正规化，最终去支撑集团的业务发展。

3.主要建设任务（物资）

这块和前文中提到的实施框架是类似的，比如体系建设，组织规划，标准落地以及平台搭建。另外由于集团的物料范围比较广，需要制定物料标准化的目标，例如原材料、设备等等，这些标准也会被全集团来使用。

4.主数据项目管理规划

这个过程主要分成三个阶段，第一阶段是整体的规划，建立标准、搭建平台、完成集团管控系统数据整合（物料、财务、人事、客商）；第二阶段是把主数据管理工作往其他业务模块推进，以及推进下级单位的数据整合；第三阶段是做主数据的查漏补缺，全面完善，整体优化。进行持续的数据治理，逐步构建数据专家团队。

5.编码方案变更

如图所示为该集团采取的综合流水码，因为该集团涉及的物料特别多，所以采取了流水码，这样能容纳的数据量是比较大的，同时亿信华辰在这个过程中，会通过提取一些信息，第一时间了解到物料属于哪个分类，有什么含义。

6.主数据管控流程

如图是该集团的主数据管控流程，也是通过我们亿信华辰主数据管理平台去填写数据，由BPM系统做审批，最后再通过ESB发送到不同的业务系统中去。

7.一物多码解决方案

在进行主数据的项目管理工作中，不同阶段，会涉及一些不同方案来解决一物多码的问题，比如在事前阶段，可按分类、全局等不同层级逐步查询，还可以通过“主数据说明”搜索，实现对任意属性的模糊匹配，快速查找出相似数据，从而可确认所需物料是否已存在，避免重复申请；

在事中阶段，可以采取多种方式，例如程序的校验与审核等，还包括内置的这样的一些相似度的检测的一些功能，然后这样的话就避免这样的重复一些录入。

在事后阶段，我们也提供了质量检查功能，通过自定义质量规则去检查这种重复的数据，并定期巡检，然后产出质量报告，最后通过邮件发送给业务系统的负责人，最终方便做一些物料数据和一些重复数据的整改工作。

8.建设成效对比

主要体现在以下四个方面：

9.价值展现

经过一年多的项目建设，该集团利用亿信华辰主数据管理软件搭建的主数据平台成功上线，建立了满足各下属公司业务需要的物资分类和各属性字段标准规范模板，实现所有类型主数据在主数据管理平台中统一管控，最终通过集中的数据管理和全面的数据服务，实现高效的数据利用和可靠的数据质量，具体体现在以下两个方面：

（1）大幅度降低了物料重码率，为降低库存提供了保证

通过建立主数据的编码、属性、校验、规则的标准化应用体系，建立该集团全局、统一、规范的主数据应用标准、集成和服务标准；实现专业化团队的持续改进，完成由离散的、片面的数据编码到全局的、整合的标准化主数据体系的转变。

（2）满足快速定位及查询的需要，减少无效操作时间，提高工作效率

通过建立主数据管理系统，实现主数据申请、校验、审核、生成、发布的全过程动态管理，实现主数据标准和管控流程的系统固化；实现历史主数据版本的信息追溯；通过主数据自动校验，有效的提升主数据质量；全面实现由手工、Excel文件等分散的管理方式向全生命周期管理的信息化工具管理方式转变。

10.亿信华辰EsMDM主数据管理平台

如图所示是亿信华辰的主数据管理平台的架构，从这个架构里可以看到，该平台的主数据采集方式可以对接不同的业务系统数据源，可以通过人工录入、导入导出、数据整合工具，以及自动采集获取数据。然后可以将数据提炼到主数据管理平台，然后在主数据库里去做主数据的治理、清洗工作。另外我们也可以通过该平台做业务流程上的管控，去定义模型属性，编码分类，以及数据的查询备份，以及开发接口等工作。