数据治理:数据治理框架和标准

article/2025/9/19 21:34:12

参考《一本书讲透数据治理》、《数据治理》等

数据治理并不是新概念,在国内外都有实践,这里重点介绍下国内外对数据治理的主流框架和标准

国际数据治理框架

国际上,主流的数据治理框架主要有:ISO数据治理标准、GDI数据治理框架、DAMA数据管理框架。对国际主流数据治理框架的理解,有助于我们建立符合自身业务需求的数据治理体系。

ISO数据治理标准

ISO/IEC 2015年发布ISO/IEC 38505标准,其完整的数据治理方法论如下:

  • 数据治理目标:促进组织高效、合理地利用组织数据资源
  • 数据治理地6个基本原则:职责、策略、采购、绩效、符合和人员行为。这些原则阐述了指导决策地推荐行为,每个原则描述了应该采取地措施,但并未说明如何何时由谁来实施。
  • 数据治理模型:提出了E评估、D指导、M监督地方法论。通过评估现状和将来的数据利用情况,编制和执行数据战略和政策,以确保数据的使用服务于业务目标,指导数据治理的准备和实施,并监督数据治理实施的符合性等

在这里插入图片描述

  • 内部需求:企业将围绕组织的战略目标疏凿数据文化,以确保数据之列策略达到其总体目标。由于数据预决策一样有价值,因此这种数据文化需要的数据访问、良好数据先骨干的组织行为处理依赖于相关环境中的所有做法和决策过程
  • 外部压力:企业可能需要调整其数据治理战略和政策,以确保符合外部市场的压力对其的作用
    • 客户及利益相关方对数据可用性、治理和交互的期望
    • 竞争对手使用数据来改进或扩展其产品、服务和流程
    • 数据保留和处置要求
    • 适当处理偏见、歧视、和定性的决策义务
    • 有关共享或重用数据的自身产权问题
  • 评估:评估数据治理时,相关机构,应考虑到组织内部要求和外部压力,此外理事机构应审查和判断目前和未来数据的管理和使用情况
  • 指导:指导数据战略的政策制定和执行
    • 最大化企业对数据投资的价值
    • 根据据数据风险偏好管理与数据相关的风险
    • 确保组织的数据管理水平
  • 监督:通过适当的系统测量,检测数据的使用情况
    • 确保数据被放到企业战略的实施中
    • 确保数据的使用和管理符合内部管理和外部法规监管要求
    • 确保数据安全和隐私问题,保证数据使用的透明度
    • 确保数据的存档或处置符合数据管理流程
    • 确保数据合规使用,包括数据共享、出售的相关权利和许可
    • 确保数据使用符合规范、并避免偏见或歧视

DGI数据治理框架

DGI数据治理研究所,是业内最早,最知名的研究数据治理的专业机构,于2004年推出DGI数据治理框架。

采用5W1H法则

dgi数据治理框架图片来源《一本书讲透数据治理》

  • Why:为什么要做数据治理:对应于DGI框架中的第1-2个组件:数据治理的愿景和目标
    • 愿景:主动的规则定义与一致性调整;为数据的利益干系人提供持续的跨职能的保护和服务;解决因违反规则而产生的问题
    • 目标:DGI认为数据治理目标的定义应该可量化、可衡量、可操作,且要服务于企业的业务和管理目标。且不同企业对于目标有不同侧重,一般企业的数据治理涵盖以下一个或多个侧重点:
      • 致力于政策、标准、战略制定的数据治理
      • 致力于数据质量的数据治理
      • 致力于隐私、合规、安全的数据治理
      • 致力于架构、集成的数据治理
      • 致力于数据仓库与商业智能的数据治理
      • 致力于支持管理活动的数据治理
  • What:数据治理治什么:对应于DGI框架中的第3-6个组件:数据规则与定义、数据的决策权、职责、控制
    • 数据规则与定义,侧重业务规则和数据标准的定义
    • 数据的决策权,侧重数据的确权,明确数据归口和产权,为数据标准的定义、数据管理制度、数据管理流程的指定奠定基础
    • 职责,侧重数据治理职责和分工的定义,明确谁应该在什么时候做什么
    • 控制,侧重采用什么措施保证数据的质量和安全以及数据的合规使用
  • Who:谁参与数据治理:对应DGI框架中的第7-9个组件:数据利益干系人、数据治理办公室和数据管理员
    • 数据利益干系人:是可能会影响或收到讨论数据影响的个人或团体,他们对数据治理会有更加准确的目标定位
    • 数据治理办公室:促进并支持数据治理相关活动
    • 数据管理员:由数据治理委员会或数据治理办公室指定的几个数据管理小组以解决特定的数据问题、负责特定业务域的数据质量监控和数据安全合规使用,并根据数据一致性、正确性和完整性等质量标准检查数据集,并发现解决问题
  • How:如何开展数据治理:DGI框架的第10个组件:数据治理流程
    • 数据治理价值声明
    • 确定路径
    • 计划于资金准备
    • 策略设计
    • 策略部署
    • 策略实施
    • 监控、评估、和报告
  • When:什么时候开展数据治理:包含在DGI的第10个组件中,用来定义数据治理的实施路径回答数据治理的时机和优先级等问题
  • Where:数据治理位于何处:包含在DGI框架的第10个组件中,强调明确当前企业数据治理的成熟度级别,找到企业于先进标杆的差距是确定数据治理目标和策略的基础

DGI框架是一个强调主动性、可持续的数据治理模型,对实际治理实施的指导性很强

DAMA数据管理框架

DAMA国际数据管理协会。是一个由全球性数据管理和业务专业的志愿人士组成的非盈利协会,致力于数据管理的研究和实践,其出版的《DAMA数据管理知识体系指南》(DAMA-DMBOK)被业界奉为数据管理的圣经。

其用一个车轮图定义了数据管理的11个知识领域

dama

  • 数据治理:数据治理位于车轮图中央,是对数据管理的高层计划与控制
  • 数据架构:定义了与组织业务战略相协调的数据资产蓝图,以建立战略性的数据需求,并满足需求的总体设计,包括数据技术架构、数据集成架构、数据仓库和商业智能架构以及元数据架构。数据架构要求在不同抽象层级,不同角度上描述组织的数据,以便更好的了解数据,帮助管理者做出决策
  • 数据建模和设计:数据模型分为概念模型、逻辑模型和物料模型。建模方法有维度建模法、面向对象建模法,基于事实的建模法,基于时间的建模法以及非关系型数据建模方法等
  • 数据存储和操作:以业务连续性为目标,包括存储数据的设计,实现和支持活动,以及在整个数据声明周期中从计划到销毁的各种活动。为IT运营提供可靠的数据存储基础设施,可以最大限度地降低业务中断的风险
  • 元数据管理:分为业务元数据、技术元数据、业务元数据。元数据管理包括规划、实施和控制活动,以便访问高质量的集成元数据,包括定义、模型、数据流、以及其他至关重要的信息
  • 数据质量管理:数据质量管理包括规划和实施质量管理技术,以测量、评估和提高数据在组织内的适用性。
  • 主数据和参考数据管理:主数据是企业关键业务实体的核心共享数据,例如组织、人员、客户、供应商、物料等。参考数据是用于描述或分类其他数据,或者将数据与企业外部信息联系起来的任何数据,例如货币代码、地区代码等。主数据和参考数据管理是对企业核心共享数据的持续协调和维护,是关键业务实体真实信息以准确、及时、相关联的方式在各个系统之间得到持续使用
  • 数据安全管理:数据安全管理的目的是确保数据隐私和机密性得到保护,数据不被破坏,并得到适当的访问,确保数据安全。降低风险和促进业务增长是数据安全管理活动的主要驱动因素。
  • 数据集成和互操作:数据集成和互操作,主要目的是对数据移动,进行有效的管理。(在不同组织间流动)
  • 文件和内容管理:用于管理非结构化数据和信息的全生命周期,包括计划、实施、和控制活动,尤其是支持法律法规遵从性要求所需的文档
  • 数据仓库和商业智能:用来管理决策支持数据,并使得业务和管理人员通过分析报告从数据中获取价值,该技术赋能企业将不同来源数据整合到公共数据模型中,整合后的数据模型为业务运营提供洞察。DAMA-DMBOK2认为,数据仓库和商业智能是数据价值的提供者,而要提供数据价值离不开数据治理的支撑

国内数据治理框架

国内起步相对较晚,目前主要有GB/T 34960和 DCMM两个标准

GB/T 34960规定的数据治理规范

我国发布的信息化标准GB/T34960《信息技术服务治理》包含5部分:

  • 通用要求
  • 实施指南
  • 绩效评价
  • 审计导则
  • 数据治理规范

其中第五部分数据治理规范提出了数据治理的总则和要求,为企业数据治理体系的建设提供了参考

gbt34960数据治理架构

《数据治理规范》包括顶层设计、数据治理环境、数据治理领域和数据治理过程四大部分

  • 顶层设计
    • 战略规划:应保持与业务规划、信息技术规划一致,并明确战略规划的实施策略
    • 组织构建:应聚焦责任主体以及责权利,通过完善的组织机制,获得利益相关方的理解和支持,指定数据管理的流程和只读,以支持数据治理的实施
    • 架构设计:应关注技术架构、应用架构、和管理体系,通过持续的评估、改进和优化,以支撑数据的应用和服务。建立与战略一致性的数据架构,明确技术方向,管理策略和支撑体系,以满足数据管理、数据流通和数据洞察的应用需求
  • 数据治理环境
    • 内外部环境:组织应分析业务、市场和利益相关方的需求,适应内外部环境变化,支撑数据治理实施。内外部环境包括:遵守法律法规;满足利益相关方需求;识别并评估市场发展、竞争地位和技术变革的变化等
    • 促成因素:包括获得数据治理决策机构的授权和支持;明确人员的业务技能和职业发展路径;关注技术发展趋势和技术体系建设;指定数据治理实施流程和制度;营造数据驱动的创新文化;评估数据资产管理能力和数据运营的水平
  • 数据治理域
    • 数据管理体系:围绕数据标准、数据质量、数据安全、元数据管理和数据生命周期管理开展数据管理体系的治理
    • 数据价值体系:围绕数据流通、数据服务和数据洞察等,开展数据资产运营和应用的治理
  • 数据治理过程
    • 统筹和规划:明确数据治理目标和任务,营造必要的治理环境,做好数据治理实施的准备。这一环节的工作包括:评估数据治理的资源、环境和人员能力等现状;指导数据治理方案的制定;监督数据治理的统筹和规划过程,保证现状评估客观、组织机构设计合理、数据治理方案可行
    • 构建和运行:构建数据治理实施的机制和路径,确保数据治理实施的有序运行。这一环节工作包括:评估数据治理方案与现有资源、环境、能力的匹配程度;指定数据治理的实施方案;监督数据治理的构建和运行过程,保证数据实施过程与方案的符合性和治理活动的可持续性
    • 监控和评价:监控数据治理过程,评价数据治理的绩效、风险和合规,保证数据治理目标的实施。这一环节工作包括:构建必要的绩效评估体系、内控体系或审计体系、制定评价机制、流程和制度;评估数据治理成效与目标的符合性;定期评价数据治理实施的有效性和合规性。
    • 改进和优化:改进数据治理方案,优化数据治理实施策略、方法和流程,促进数据治理体系的完善。这一环节的工作包括:持续评估数据治理相关资源、环境、能力、实施和绩效等;指导数据治理方案的改进;优化数据治理的实施策略、方法流程和制度,促进数据管理体系和数据价值体系的完善。

数据管理能力成熟度评估模型

GB/T 36073-2018《数据管理能力成熟度评估模型》DCMM,实在国家标准化管理委员会指导下,由全国信息技术标准化技术委员会编制的一份国家标准,于2018年发布并实施

DCMM按照组织制度流程技术对数据管理能力进行了分析和总结,提炼出组织数据管理的8个过程域,其共包括28个过程项:

  • 数据战略:数据战略规划、数据战略实施、数据战略评估
  • 数据治理:数据治理组织、数据制度建设、数据治理沟通
  • 数据架构:数据模型、数据分布、数据集成与共享、元数据管理
  • 数据应用:数据分析、数据开放共享、数据服务
  • 数据安全:数据安全策略、数据安全管理、数据安全审计
  • 数据质量:数据质量需求、数据质量检查、数据质量分析、数据质量提升
  • 数据标准:业务术语、参考数据和主数据、数据元、指标数据
  • 数据生存周期:数据需求、数据设计和开放、数据运维、数据退役

在这里插入图片描述

DCMM将组织的数据能力成熟度划分为:初始级、受管理级、稳健级、量化管理级、和优化级

在这里插入图片描述

本文概述的是国内外的主流的数据治理框架和标准,作为指导学习,当然不同企业仍然是根据企业自身情况参考。而DCMM数据能力成熟度这个是每个数据处理企业比定的级,也是企业数据成熟度能力的一个参考项,越来越多的企业合作伙伴重视此项评级。


http://chatgpt.dhexx.cn/article/OTqvVgR4.shtml

相关文章

数据治理项目经验分享

绝大多数互联网公司没时间建模、治理,直接拖宽表。业务变更频繁、建模缺位、指标爆炸,是导致互联网大数据环境中数据质量的低下的根本原因。 而在部委、集团中,时间相对充裕一些,标准更规范一些,但是同样面临部委和省…

谈谈数据治理

数据治理的本质是组织对数据的可用性、完整性和安全性的整体管理。 1.数据治理的本质 可用性指数据可用、可信且有质量保证,不会因为分析结果的准确性造成偏差,从业者可以放心地根据数据结果做业务决策;完整性分为两个方面,一方面…

数据治理:企业数据治理蓝图

参考《一本书讲透数据治理》、《数据治理》等 文章目录 企业数据治理体系企业数据治理9个要素企业数据治理4个层面 企业数据治理之道企业数据治理之法企业数据治理之术企业数据治理之器 企业数据治理体系 数据治理、数据管理、数据管控三者是什么关系?很多人都搞混…

也谈数据治理

1.数据治理的概念 数据治理,对于有数据的企业来说,是一个非常重要的内容。数据治理,之所以重要,是因为当前,数据已成为一种重要的资产,是组织进行管理、生产和行动的重要职称。 笔者结合了多方资料&#…

数据治理专栏

随着数字化转型大趋势发展浪潮以及数据作为新的生产要素,数据在企业的发展中扮演越来越重要的角色。然而数据本身不会自动产生价值,一般来说数据价值变现有两种方式:一种是通过数据治理将数据资源转化为数据资产,再把数据资产链接…

数据治理简介

参考文章:数据治理到底能治什么,怎么治 浅谈数据治理 数据治理的定义,挑战和最佳实践 1. 数据治理的背景 狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理…

数据治理问题

01前言 为什么想开这个话题,一是因为目前业内数据产品也基本完成了从0-1的建设工作,但主要集中在数据生产加工和数据应用分析两侧,对于数据管治方向的建设多分散在了包括安全、指标元数据、SLA等在内的各个环节,缺乏统一的规划统…

【数据治理】数据治理8种方法

今天给大家推荐的是数据治理套路8法,个人觉得这8种方法中监管驱动法和利益驱动法是最常见的,也是一直在治,但只能局部治理的方法,未来是数字时代,必须体系构建(顶层设计)价值驱动(利…

浅谈数据治理(什么是数据治理)

浅谈数据治理 数据治理是一个对企业数字化转型至关重要的一个环节,关乎着企业核心数据是否能被规范化管理、数据的价值是否能被充分发挥等等。说白了能给企业实现降本增效、业务精细化运营、重要决策制定、产品优化迭代等多方面的收益。 说到数据治理,…

什么是数据治理?(目的、方法、流程)

文章目录 1、什么是[数据治理]2、数据治理的目的3、数据治理的方法4、数据质量8个衡量标准5、数据治理流程 1、什么是[数据治理] 数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制…

bpftrace 段错误 bpf_prog_load_deprecated

调试 (gdb) 672 return bpf_prog_load(load_attr->prog_type, load_attr->name, load_attr->license, (gdb) p load_attr->prog_type $5 BPF_PROG_TYPE_TRACING (gdb) s bpf_prog_load_deprecated (file0x1a <error: Cannot access memory at address 0…

BPF介绍

Thank Zhihao Tao for your hard work. The document spent countless nights and weekends, using his hard work to make it convenient for everyone. If you have any questions, please send a email to zhihao.taooutlook.com 文章目录 1. 概述1.1 发展1.2 优势1.3 限制1…

BPF-JIT中bug归类

文章目录 前言BPF-JITs中的bugs分类Subtle architectural semantics(微妙的架构语义)Subtle machine state(微妙的机器状态)Subtle instruction encoding(微妙的指令编码) Bug-fixing commits in BPF JITs in the Linux kernel (May 2014–April 2020)其他 前言 本篇内容来自&…

bpf的加载流程分析

文章目录 前言elf结构简介load_bpf_file函数准备工作创建map处理所有的重定向section加载ebpf程序 参考 前言 我们知道&#xff0c;使用clang/llvm编译生成的target为bpf的elf文件&#xff0c;使用load_bpf_file函数加载进入内核。 所以&#xff0c;这里&#xff0c;我们需要…

深入理解 BPF map 实现机制

揭秘 BPF map 前生今世 目录 揭秘 BPF map 前生今世1. 前言2. 简单的使用样例用户空间与内核 BPF 辅助函数参数对比 3. 深入指令分析3.1 查看 BPF 指令3.2 加载器创建 map 对象3.3 第一次变身&#xff1a; map fd 替换3.4 第二次变身&#xff1a; map fd 替换成 map 结构指针 4…

bpf简介1

文章目录 前言prefaceIntroduction历史发展结构 推荐阅读 前言 来源&#xff1a;Linux Observability with BPF 这里整理下该书第一章&#xff1a;preface && Introduction 这本书有中文版的《Linux内核观测技术BPF》。这个链接里面的资料也是很好的&#xff0c;可以…

BPF技术学习分享

什么是BPF程序&#xff1a; BPF is a highly flexible and efficient virtual machine-like construct in the Linux kernel allowing to execute bytecode at various hook points in a safe manner. BPF程序 ----LLVMClang----> BPF字节码 ----JIT----> BPF指令集&…

BPF之事件源

基础 1. BPF和eBPF概念 BPF 原是 Berkeley Packet Filter&#xff08;伯克利数据包过滤器&#xff09;的缩写&#xff0c;1992诞生&#xff0c;用于网络包过滤。2014经过修改并入 Linux 内核主线&#xff0c;从此 BPF 变成了一个更通用的执行引擎&#xff0c;主要用于网络、可…

DPDK BPF

DPDK BPF DPDK 自版本 18.05 已集成了 librte_bpf, 主要利用rte_eth_rx_burst/rte_eth_tx_burst 回调函数机制, 执行eBPF字节码. 当前支持以下特性: base eBPF ISA (except tail-pointer)JIT (x86_64 and arm64 only)eBPF code verifieruser-defined helper functions (64-bi…

Linux超能力BPF技术介绍及学习分享

近两年BPF技术跃然成为了一项热门技术&#xff0c;在刚刚结束的KubeCon 2020 Europe会议上有7个关于BPF的技术分享&#xff0c; 而在KubeCon 2020 China会议上也已有了3个关于BPF技术的中文分享&#xff0c;分别来自腾讯和PingCAP&#xff0c;涉足网络优化和系统追踪等领域。在…