主数据治理项目前期调研

article/2025/9/19 21:37:44

随着企业的不断发展进步,业务部门的需求不断增加,企业逐渐上了很多应用系统以及硬件设备,如OA办公协同系统、ERP企业资源管理系统、HR人力资源管理系统、CRM客户关系管理系统等,也在业务发展中沉淀了大量数据,但是这些数据没有为企业带来直观的价值,没有形成企业的数据资产,所以越来越多的企业进入到了数据治理阶段,对于主数据治理的需求越来越明确

近期在进行某制造业的主数据治理项目工作,现以该企业为例,总结梳理在调研阶段对该企业的应用系统整体架构、核心业务流程以及主数据治理范围进行的整理调研。

1前期准备

在前期需求调研之前,需要对调研对象进行充分的了解。首先应该了解该企业的主要运营模式以及整体架构,下面从整体架构、企业现有的和建设中的系统以及应该准备的问题清单进行说明。

1.1整体架构

在项目调研之前,需要根据招标文件对实施边界进行明确,基于招标文件和网上资料对该企业的整体运作模式、经营模式以及核心产品进行了解。以制造行业来讲,制造业通常以产品(零件装配)为主,在分析现有组织架构时,可以通过业务流程层、协同层、管理层、经营层以及生产层五个层面去分析该企业整体业务架构,在实际的调研过程基于自身理解对不明确的点进行剖析、拓展。

1.2系统现状

通过该企业招标文件和相关资料了解企业现有应用系统,通过现有应用系统,提前分析出企业目前可能存在哪些主数据,例如企业现有人力资源系统,基本可以断定由组织、人员、岗位主数据以及其来源。对现有应用系统进行了解,明确其有哪些功能模块,与其它业务系统之间是否存在对接等,还有一些业务系统可能是我们从未听说过的,例如制造业PLM系统、PDM系统等等,关于该系统会有一些特定名词,如BOM等,所以需要提前进行了解。

1.3问题清单

通过了解其应用系统能够基本了解到企业目前有哪些主数据,在调研之前最好能够列出主数据的清单,给客户出选择题,而不是填空题。这样首先使客户认识到我们是一个专业的技术团队,给客户留下一个好印象。提前准备好问题也是为了防止在调研过程中出现确认遗漏的情况,问题清单应该从以下几个层面进行阐述,分别是业务需求和功能需求、元数据模型和参考数据、厂商对接方案和参数、涉及到的接口说明。

2调研过程

整体调研分为两阶段,第一阶段主要了解企业间运作模式,了解其业务架构、组织架构、业务流程、应用架构以及数据架构,在第二阶段主要针对主数据层面,了解其需求、数据模型、对接方案以及相关接口。

2.1调研目的

整体调研通常分为两个阶段,分别为系统调研以及业务调研,调研时间通常为自然月,共调研两轮第一轮调研主要是了解产品,分析可能存在的主数据类型,并与各个厂家的实施维护人员见面,进行产品演示。如果有两个系统都用到的数据,对其进行记录,明确使用字段、数据来源,明确两个系统间共用数据是否有联系,包含线下数据。对于相互重叠的主数据,应该明确哪里作为数据的源头。第二轮调研更多的是讨论和确认,例如确认主数据的元数据字段信息、与各业务厂商明确接口以及集成对接方式等等,在最终确认后与业务部门进行沟通方便后续数据管理、测试、运维等工作。

2.2调研思路

前期调研一般由我方和客户提出请求,由客户发起联系各个业务系统的厂商合理安排会议时间节点,沟通时间主要取决于业务系统的复杂程度,最好是由各厂商运维人员对业务系统进行介绍演示,在演示过程中对不明确问题进行记录,将确认完毕事宜通过邮件发送至各系统厂商邮箱进行留痕。

2.3系统调研

在系统调研时,首先需要了解该企业现有的应用系统,根据招标文件明确本期建设内容以及边界,了解各个应用系统的核心应用模块及其主要作用。在条件允许的情况下与各个业务厂商碰面,让其进行系统演示,对于不明确的业务点及时记录明确,并让业务厂商提供登录测试系统账号、数据字典等相关对接文件,根据其系统的介绍明确主数据的来源、该类主数据在该业务系统是如何维护的、是什么人员使用、使用场景,并进行相关记录,最后由客户和各厂商提出主数据层面的需求以及想法。

2.4业务调研

业务调研整体分为两类,分别为主数据集成和应用集成。在对业务部门调研时需要记录,后续通过会议纪要的形式邮件发送给项目总监、负责人以及参与调研的双方人员。

主数据集成首先需要根据业务系统调研确认主数据的类别,以该制造业物料主数据为例,明确该类主数据在哪些业务系统中所使用,物料主数据的源头在哪,需要分发到什么应用系统中。在源头系统需要对主数据的维护模式进行确认,并与来源系统明确主数据同步以及数据初始化形式等等,例如物料主数据有根据物料分组形成的编码规则,需要和客户确认是否沿用该编码等。在应用集成时需要明确有哪些集成的场景、对接哪类应用系统、该应用系统目前是否在维护、能否提供对接的接口等

3调研结果

调研结果输出主要包含两大块,分别为该企业整体架构和主数据部分。整体架构层面主要说明企业业务架构、组织架构、业务架构、应用架构以及流程架构,而主数据方面主要说明数据的来源系统、分发系统、对应模型以及相关接口等。

3.1基础概念

因该企业为装备制造业,所以在名词解释部分主要介绍在需求中涉及到行业术语和应用系统及其主要作用。业务系统方面包含PLM系统、PDM系统、ERP系统等等,具体业务名词包含BOM物料清单、BOM分类到最终的零部件、原材料等。

3.1.1业务系统

1.ERP企业资源计划系统: 是Enterprise Resource Planning的简称,是指建立在信息技术基础上,集信息技术与先进管理思想于一身,以系统化的管理思想,为企业员工及决策层提供决策手段的管理平台。

它是从MRP(物料需求计划)发展而来的新一代集成化管理信息系统,它扩展了MRP的功能,其核心思想是供应链管理。它跳出了传统企业边界,从供应链范围优化企业的资源,优化了现代企业的运行模式,反映了市场对企业合理调配资源的要求。它对于改善企业业务流程、提高企业核心竞争力具有显著作用。

ERP是一种可以提供跨地区、跨部门甚至跨公司整合实时信息的企业管理信息系统。ERP不仅仅是一个软件更重要的是一个管理思想,它实现了企业内部资源和企业相关的外部资源的整合。通过软件把企业的人、财、物、产、供、销及相应的物流、信息流、资金流、管理流、增值流等紧密地集成起来,实现资源优化和共享。

2.PLM产品生命周期管理系统:是以产品为中心,以应用软件为手段,是一种战略性的业务模式,它应用一系列相互一致的业务解决方案,支持产品信息在全企业和产品全生命周期内(从概念到生命周期结束)的创建、管理、分发和使用,集成了流程和信息等众多要素,以灵活应对市场需求为目标,通过对企业知识型资产的管理,实现对产品的数据管理、项目管理、变更管理、协同管理、标准化管理、安全管理等,为制造企业提供了一个可伸缩的研发管理平台

3.PDM数据管理系统:是一门用来管理所有与产品相关信息(包括零件信息、配置、文档、CAD文件、结构、权限信息等)和所有与产品相关过程(包括过程定义和管理)的技术。通过实施PDM,可以提高生产效率,有利于对产品的全生命周期进行管理,加强对于文档、图纸、数据的高效利用,使工作流程规范化。PDM数据管理系统能够有效组织企业生产工艺过程卡片、零件蓝图、三维数模、刀具清单、质量文件和数控程序等生产作业文档,实现车间无纸化生产

4.MES生产执行系统:MES系统是一套面向制造企业车间执行层的生产信息化管理系统。MES可以为企业提供包括制造数据管理、计划排程管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块,为企业打造一个扎实、可靠、全面、可行的制造协同管理平台

3.1.2业务名词

1.BOM物料清单狭义的BOM (Bill of Material)是指物料清单,从不同的系统来看,BOM的含义具有一定的差别。从研发人员来看,研发人员主要在CAD系统中绘制产品总成图或部件图,BOM是一种产品结构的技术描述文件,它表明了产品组件、子件、零件直到原材料之间的结构关系以及每个组装件所需要的各下属件部件的数量,偏重于产品信息的汇总,如明细表;从工艺管理上看,BOM不是技术文件,而是计划文件或指导生产文件,包括加工工序卡、锻铸热处理卡、工装材料等汇总信息。

广义的BOM是产品对象的属性集合。从集合论和线性代数理论出发,广义BOM可以用n维属性空间来描述,其中n代表产品对象属性空间中相互独立属性的最大个数,记为BOM (X1,X2,…,Xn)。具体来说,产品BOM属性信息包括以下部分:零件编码、零件图号、材料、重量、体积、物料生效日期等信息;部件内的各个单一零件(包括标准件、外协件、外购件、借用件、自制件等)的装配数量、零部件图号等信息;总图信息,包括零部件清单、技术文件、产品说明书、保修单等。

2.EBOM:主要是设计部门产生的数据,产品设计人员根据客户订单或者设计要求进行产品设计,生成包括产品名称、产品结构、明细表、汇总表、产品使用说明书、装箱清单等信息,这些信息大部分包括在EBOM中。EBOM是工艺、制造等后续部门的其它应用系统所需产品数据的基础

3.PBOM是工艺设计部门以EBOM中的数据为依据,制定工艺计划、工序信息、生成计划BOM的数据。计划BOM是由普通物料清单组成的,只用于产品的预测,尤其用于预测不同的产品组合而成的产品系列,有时是为了市场销售的需要,有时是为了简化预测计划从而简化了主生产计划。另外,当存在通用件时,可以把各个通用件定义为普通型BOM,然后由各组件组装成某个产品,这样一来各组件可以先按预测计划进行生产,下达的PBOM产品可以很快进行组装,满足市场要求。

4.MBOM是制造部门根据已经生成的PBOM,对工艺装配步骤进行详细设计后得到的,主要描述了产品的装配顺序、工时定额、材料定额以及相关的设备、刀具、卡具和模具等工装信息,反映了零件、装配件和最终产品的制造方法和装配顺序,反映了物料在生产车间之间的合理流动和消失过程。PBOM和MBOM也是提供给计划部门(ERP)的关键管理数据之一

5.CBOM是财务部门根据设计部门、工艺部门和制造部门的数据信息进行汇总核算形成的财务报表。成本CBOM给出了产品的成本信息,包括采购成本、制造成本、总采购成本、总制造费用及分摊点管理费用。在价值分析方面,CBOM 对于通过减少小项目成本来降低产品的总成本,或者考查上升的原因,都有一定的价值。

3.1.3基本概念

1.外购件:外购件一般指没有标准化的零件,需要单独进行设计和定做,也就是从外部订购获得,所以称为外购件。外购件是针对标准件来说的,外购件的质量好坏直接影响着企业产品的质量水平,如汽车产品的外购件有变速器、轮胎、喇叭等。

2.外协件:主要指产品外包商生产的产品或服务外包商提供的服务。在ISO9000中,外协直接受组织控制,一般在组织的生产范围内按组织的要求作业和服务,并由组织验收,因此外协件不是简单的采购,而是需要根据要求组织验收的,如电焊部件、五金制品等。

3.虚拟件:虚拟件是用在PLM系统里的BOM构成方法,它的作用主要是作为产品结构中的一种过渡件方式;虚拟件可以用于代表一组、一系列、一种属性或者一类规格的物料;在一个可选物料的基本组件里(产品结构呈模块化),也就是特征件,也可以用虚拟件描述,虚拟件是库存不存在的物料。虚拟件可作为共用件,让物料清单比较容易维护,减少资料量或电脑运作时间。作为规划用料号,供预测、规划之用。作为工序中的过渡性料品,只为了显示,不入仓库,不报完工量。更好的显示加工的顺序,方便工艺路线的维护。

4.标准件:标准件是指结构、尺寸、画法、标记等各个方面已经完全标准化,并由专业厂生产的常用的零(部)件,如螺纹件、键、销、滚动轴承等等。广义包括标准化的紧固件、连结件、传动件、密封件、液压元件、气动元件、轴承、弹簧等机械零件。

5.通用件:通用件是指在不同类型或同类型不同规格的产品中可以互换使用,给予通用编号(或单独管理)的整(部)件和元器件。

6.原材料:原材料是指企业在生产过程中经加工改变其形态或性质并构成产品主要实体的各种原料及主要材料、辅助材料、燃料、修理备用件、包装材料、外购半成品等。

3.2整体架构

该企业为北方某装配制造业上市企业,主要产品及业务包括工业机器人、自动化成套装备及系统解决方案,产品主要应用于石油化工、煤化工、盐化工、精细化工、化肥、冶金、物流、食品、饲料等行业的固体物料后处理,包括单机产品、单元产品和系统成套设备,能够满足客户多层次、全方位的需求。该企业现有OA办公系统、ERP系统、邮件系统、加密系统以及正在建设中的PLM系统。该企业整体架构从业务架构、组织架构、应用流程、数据架构等层面总结如下。

3.2.1业务架构

该企业是一家以设计、生产制造、配套系统、销售为核心业务的企业,拥有杰出的管理团队和强大的研发队伍,是国内智能成套装备的引领者,专业研发与生产智能成套装备。

整体业务架构图如下:

由市场部门组织营销活动拉取客户(客户泛指公司规模的客户),负责签订合同和实际项目立项,在后续进行设备返修等工作时也需要市场部门跟进;由设计部门根据客户订单进行产品方案设计;由采购部门根据采购计划进行机械物料、电气物料、气动物料采购入库;由生产部门根据生产计划进行生产订单交付。

其中BPM流程管理系统、主数据管理系统、ESB企业数据总线等数据架构系统负责全公司的技术数据统一及信息同步,集团运营基础支撑主要由人资部、行政部、采购部、财务部以及市场部为主要组成核心,实现对企业人、财、物、产、供、销的基本管理。

生产环节是该企业重要的业务环节,由销售部门签订合同立项后集团对生产任务进行计划分配。生产分为生产技术支持以及生产一线,由计划制定部门在年初根据销售合同信息制定生产计划,通常这个计划的年产量是不变的,计划制定后将生产任务分配给各个部门及子公司,由电控技术中心、工艺技术中心、橡胶技术中心、研发中心等提供基础技术支持。各个部门及子公司按照计划产额自行安排生产任务。

3.2.2组织架构

从宏观上看,一般制造行业企业的组织架构可以分为四层,最上层的是股东大会、董事会、监事会等公司最高领导,处于第二层的是机关部门、直属单位和子公司的直属副总经理,最后两层是支撑企业生产的各个部门,具体包含财务部门、企业管理部门、市场营销部门以及各个技术支持部门等。

该企业的整体顶层为虚拟公司,下属第一层级为总公司、分公司和子公司,再下级为公司下直属部门、事业部及研究院,部门下分为技术室、服务中心及营销中心,最后一级一般为临时组织组、项目。

3.2.3业务流程

业务流程说明+流程图如下:

该企业市场营销部门根据自身产品进行产品报价,经过招投标与中标单位签订合同进行立项,立项后进入待实施阶段,指定机械设备负责,接下来进入外部对接及内部对接,对整体方案进行设计、相关技术及机电接口表等确认。

设计阶段:首先对任务书进行设计和确认,具体包含机械设计任务书、气动设计任务书、电控设计任务书;然后根据任务书对生产过程中机械设备、气动设备、以及电控设备进行分配;接下来进行机械设计、电气设计以及气动设计;最终进行机械图、电气图、气动图的评审,完成整体设计阶段。

晒图阶段:部机晒图阶段作为设计阶段到部机采购加工阶段的缓冲,该阶段包括出具铭牌出库单和车间铭牌出库,制定机械外供计划、电气外供计划以及出具安装手册、机械手机、电气手册。

部机采购加工阶段:由采购部门进行采购,到货后进行收货检验,确认后对物料铭牌打印刻字,由对应的部门对刻字进行核准,确认无误后入库完成。外协本体加工,开始外协装配,完成后开始进货检验、场地资源缓冲、高架等需组装设备间现场组装,最后入厂加工。

3.2.4数据架构

整体数据架构图如下:

企业整体数据架构从各个应用系统获取数据信息,在主数据管理平台对元数据信息进行统一管理,具体包括元数据信息的采集、定义、变更等,在数据分析时可以根据元数据信息进行数据血缘分析、影响分析等,基于元数据进行主数据建模部署,实现基础数据信息的管理,保证全集团公司数据具有高度共享性、一致性、完整性、数据维度统一性。

本次项目分为八个大类主数据,其中组织、员工数据源头为OA系统,MDM作为接收系统。BOM、物料数据结构比较复杂,目前来源于PLM系统,PLM系统目前还在标准制定阶段,其它主数据,如客户、供应商、知识产权等都是在主数据平台进行管理。

3.3基础数据

本次主数据治理项目共包含两个产品,分别为MDM主数据管理平台ESB企业服务总线,MDM主数据管理平台负责主数据、参考数据的管理以及业务流程的审批配置等,而ESB企业服务总线基于数据接口抽取各个业务系统的数据,将数据从业务系统同步至主数据管理平台,并进行数据的分发操作等。

本次主数据治理涉及四类八种主数据,分为人资类(组织、人员)、客商类(客户、供应商)、生产类(物料、BOM、物料分组)、知识类(知识产权),此处以组织主数据为例对调研实际内容进行说明。

3.3.1需求说明

需求说明共包含两部分,业务需求和潜在的功能需求。业务需求主要说明该数据来源系统在哪,需要分发到哪些系统,编码规则应该如何定制,需要同步哪些字段数据等。而功能需求一般来说要保证数据的时效性做到即时同步,同步采用单条同步,如果是批量数据,则采用循环的形式实现,同步采用接口的方式,各方要配合出接口等。

3.3.2数据模型

在调研阶段要明确主数据具体字段模型,与客户以及各厂商确认元数据字段信息以及参考数据字段信息,确认无误后与客户出示《某某主数据字段信息确认》文件,文件的字段信息内说明字段分组、字段编码、显示类型、参考数据、是否必填、是否导入、校验规则等。具体如下:

在第二个Sheet中说明对应的参考数据信息:

3.3.3对接方案

在调研时需要和其它业务厂商确认数据对接方案,一般来说主数据的对接方案有三种,首先是“推”的方案,在其它业务系统数据发布确认时绑定接口,接口获取表单全部数据,将完整的表单数据传给数据同步接口;其次是“推拉”的方式,依旧是在业务系统数据发布或者变更时由业务推给同步流程一个编码,在流程内在通过编码对业务系统数据进行反查;如果业务系统无法进行二开,就需要由ESB拉取数据,也就是“拉”的方式,在调研时需要和业务系统厂商将对接方案确定。

“推”、“推拉”的方式一般都是拉取一条数据,所以这时就需要另外开发一个数据初始化流程,将数据全量拉取到主数据内。

3.3.4接口说明

在对接方案确定后就需要和对接厂商确定接口数据信息,具体包含接口的参考数据以及主数据信息,通常接口都是以JSOM、XML形式出参,接口说明不仅仅是业务系统厂商的接口,还包含MDM内部接口,具体包含业务厂商获取数据接口、MDM数据同步接口、获取token接口、定义编码规则接口等等,并说明接口如何调用以及对应参数。

4心得体会

通过本次的项目前期调研使自身在沟通能力以及工作安排上有了一定的提升,同时也暴露了自身的诸多问题,现从做事方法、意识形态以及知识提升层面总结如下。

4.1做事方法

通过近期的工作让我认识到,在工作的过程中应该勤与公司领导、同事沟通交互,防止自己埋头苦干在事情结束时才发现在方向上的错误。在遇到困难时应该面对困难,与公司协调资源将事情解决,而不是在领导追问时才将事情暴露出来,主动暴露问题在工作中至关重要,只有主动暴露问题才能更快的将问题解决

4.2意识形态

作为项目经理,首先要对公司以及整个项目组负责,当自身作为一件事的主导时就要将这件事情做实、做好,对工作负责到底,通过近期的工作让我认识到自身在工作时很容易忽略细节,考虑问题也不够全面,没有从业务的角度去思考问题,做事时思路不清晰、没有条理,在后续的工作学习过程中应该从全局去考虑问题,做到条理清晰。

4.3知识收获

通过对该企业的前期调研,我们可得知业务架构分为协同层、决策层、管理层、经营层以及生产层,每层对应不同的系统。而这其中有一个很有趣的现象,可以说该企业的IT信息化是分为阶段的,协同层有OA系统,管理层有ERP系统,生产层有目前在建的PLM系统和后续的MES系统,经营层有企业微信和邮件系统,最后还缺少的是决策层,缺少帮助企业运营决策的数据分析系统。

目前该企业信息化的发展正在建设当中,同大多数企业一样,目前的建设缺少业务集成、数据集成意识,先入为主情况严重,随着企业不断的发展壮大,集成需求会愈发明显,所以在当前阶段就需要提醒企业规划再建设。大多数企业的信息化建设都是从无到有、从多到散的过程,在前期缺少统一的IT架构规划,只是根据业务不断建设系统,而随着系统的增多,统一认证、数据集成、应用集成、数据分析等需求都会逐渐暴露出来,而ESB、IDM、MDM、DAP等产品和方案则是解决企业这些需求的最佳利器。

 


http://chatgpt.dhexx.cn/article/mgLwRPxS.shtml

相关文章

通俗理解数据治理之主数据

1)如需数据治理-元数据材料可前往(狗头.gif) https://download.csdn.net/download/u010763324/87589200https://download.csdn.net/download/u010763324/875892002)如需数据治理-主数据材料可前往(狗头.gif&#xff0…

数据治理概述

一、 首先认识一些名词 在学习数据治理知识之前,首先要明白治理的对象都有哪些,什么才是数据?是1,2,3,4这种纯数字类型的才算数据吗?还是所有的文本数据都是数据? 请往下看。 1.1…

数据治理:数据治理框架和标准

参考《一本书讲透数据治理》、《数据治理》等 数据治理并不是新概念,在国内外都有实践,这里重点介绍下国内外对数据治理的主流框架和标准 国际数据治理框架 国际上,主流的数据治理框架主要有:ISO数据治理标准、GDI数据治理框架、…

数据治理项目经验分享

绝大多数互联网公司没时间建模、治理,直接拖宽表。业务变更频繁、建模缺位、指标爆炸,是导致互联网大数据环境中数据质量的低下的根本原因。 而在部委、集团中,时间相对充裕一些,标准更规范一些,但是同样面临部委和省…

谈谈数据治理

数据治理的本质是组织对数据的可用性、完整性和安全性的整体管理。 1.数据治理的本质 可用性指数据可用、可信且有质量保证,不会因为分析结果的准确性造成偏差,从业者可以放心地根据数据结果做业务决策;完整性分为两个方面,一方面…

数据治理:企业数据治理蓝图

参考《一本书讲透数据治理》、《数据治理》等 文章目录 企业数据治理体系企业数据治理9个要素企业数据治理4个层面 企业数据治理之道企业数据治理之法企业数据治理之术企业数据治理之器 企业数据治理体系 数据治理、数据管理、数据管控三者是什么关系?很多人都搞混…

也谈数据治理

1.数据治理的概念 数据治理,对于有数据的企业来说,是一个非常重要的内容。数据治理,之所以重要,是因为当前,数据已成为一种重要的资产,是组织进行管理、生产和行动的重要职称。 笔者结合了多方资料&#…

数据治理专栏

随着数字化转型大趋势发展浪潮以及数据作为新的生产要素,数据在企业的发展中扮演越来越重要的角色。然而数据本身不会自动产生价值,一般来说数据价值变现有两种方式:一种是通过数据治理将数据资源转化为数据资产,再把数据资产链接…

数据治理简介

参考文章:数据治理到底能治什么,怎么治 浅谈数据治理 数据治理的定义,挑战和最佳实践 1. 数据治理的背景 狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理…

数据治理问题

01前言 为什么想开这个话题,一是因为目前业内数据产品也基本完成了从0-1的建设工作,但主要集中在数据生产加工和数据应用分析两侧,对于数据管治方向的建设多分散在了包括安全、指标元数据、SLA等在内的各个环节,缺乏统一的规划统…

【数据治理】数据治理8种方法

今天给大家推荐的是数据治理套路8法,个人觉得这8种方法中监管驱动法和利益驱动法是最常见的,也是一直在治,但只能局部治理的方法,未来是数字时代,必须体系构建(顶层设计)价值驱动(利…

浅谈数据治理(什么是数据治理)

浅谈数据治理 数据治理是一个对企业数字化转型至关重要的一个环节,关乎着企业核心数据是否能被规范化管理、数据的价值是否能被充分发挥等等。说白了能给企业实现降本增效、业务精细化运营、重要决策制定、产品优化迭代等多方面的收益。 说到数据治理,…

什么是数据治理?(目的、方法、流程)

文章目录 1、什么是[数据治理]2、数据治理的目的3、数据治理的方法4、数据质量8个衡量标准5、数据治理流程 1、什么是[数据治理] 数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制…

bpftrace 段错误 bpf_prog_load_deprecated

调试 (gdb) 672 return bpf_prog_load(load_attr->prog_type, load_attr->name, load_attr->license, (gdb) p load_attr->prog_type $5 BPF_PROG_TYPE_TRACING (gdb) s bpf_prog_load_deprecated (file0x1a <error: Cannot access memory at address 0…

BPF介绍

Thank Zhihao Tao for your hard work. The document spent countless nights and weekends, using his hard work to make it convenient for everyone. If you have any questions, please send a email to zhihao.taooutlook.com 文章目录 1. 概述1.1 发展1.2 优势1.3 限制1…

BPF-JIT中bug归类

文章目录 前言BPF-JITs中的bugs分类Subtle architectural semantics(微妙的架构语义)Subtle machine state(微妙的机器状态)Subtle instruction encoding(微妙的指令编码) Bug-fixing commits in BPF JITs in the Linux kernel (May 2014–April 2020)其他 前言 本篇内容来自&…

bpf的加载流程分析

文章目录 前言elf结构简介load_bpf_file函数准备工作创建map处理所有的重定向section加载ebpf程序 参考 前言 我们知道&#xff0c;使用clang/llvm编译生成的target为bpf的elf文件&#xff0c;使用load_bpf_file函数加载进入内核。 所以&#xff0c;这里&#xff0c;我们需要…

深入理解 BPF map 实现机制

揭秘 BPF map 前生今世 目录 揭秘 BPF map 前生今世1. 前言2. 简单的使用样例用户空间与内核 BPF 辅助函数参数对比 3. 深入指令分析3.1 查看 BPF 指令3.2 加载器创建 map 对象3.3 第一次变身&#xff1a; map fd 替换3.4 第二次变身&#xff1a; map fd 替换成 map 结构指针 4…

bpf简介1

文章目录 前言prefaceIntroduction历史发展结构 推荐阅读 前言 来源&#xff1a;Linux Observability with BPF 这里整理下该书第一章&#xff1a;preface && Introduction 这本书有中文版的《Linux内核观测技术BPF》。这个链接里面的资料也是很好的&#xff0c;可以…

BPF技术学习分享

什么是BPF程序&#xff1a; BPF is a highly flexible and efficient virtual machine-like construct in the Linux kernel allowing to execute bytecode at various hook points in a safe manner. BPF程序 ----LLVMClang----> BPF字节码 ----JIT----> BPF指令集&…