数据治理浅谈之数据字典

article/2025/9/24 19:46:06

导读

数据字典作为数据治理整体体系中重要的一环,理解和使用数据字典尤为重要。本文将从数据字典概念、定义、结构、应用、治理等方面进行详细阐述。

 

01概念

数据字典(Data Dictionary)是一个容器,用于包含有组织定义和使用的所有数据元素的信息。它旨在管理、维护、分析企业中各种数据元素及其相关信息。它提供了一种集中管理和查询组织数据资源的方式,可避免重复定义已有数据元素,提高数据质量和减少数据错误,同时可基于数据字典相关属性分析,使得数据资源整体降本增效。

02定义

数据字典集中对数据库表字段进行定义与描述,它将文档型数据字典做了线上化管理,可实现客户各系统库表字段信息、表分类/表描述、字段标准映射等信息的维护,便于系统间数据信息共享。

数据字典可借助元数据的能力,可实现获取各业务系统、大数据平台库表字段等诸多信息,例如表字段级血缘、数据质量监控告警规则、数据安全等级、字段加密、数据表字段与指标、标签、报表关联关系。同时可基于数据表计算消耗与存储属性,结合一定规则策略,实现提升性能优化资源的目的。

不少朋友可能对数据字典、数据模型、数据库三者的定义有所混淆,以下展示了三者的区别。

数据字典数据模型数据库
目的数据库表模式下每个数据属性的设计定义文档数据结构关系设计数据库物理实现
内容内容详细程度非常高,定义对象、实体、属性、综合关系内容详细程度中,定义对象、实体、属性内容详细程度高,定义数据结构、关系
用户数据/系统架构师、DBA、开发人员、测试人员、系统管理员业务分析师、业务用户、数据/系统架构师开发人员、DBA
工具Word/Excel、扩展属性/注释、数据字典产品工具PowerDesigner、ERWin数据库开发和管理工具
形式元数据表图形化UML类图数据库管理系统中的结构:表、列、外键等

03建设思路

数据字典在元数据基础上提供的企业数据目录管理模块,面向数据开发人员,快速查找表统一管理,跟踪血缘。数据字典将涵盖全局数据检索、元数据详情查看、数据预览、数据探查、数据血缘和数据类目管理等功能。数据地图可以帮助用户更好地查找、理解和使用数据。

数据字典与数据治理整理架构体系的关系图举例如下:

图 数据字典关系链路 

说明:

1.数据集成->元数据:采集数据集成脚本关系,并解析表级字段级血缘

2.数据建模->元数据:采集模型表数仓分层、业务分类、存储策略等信息

3.数据开发->元数据:采集SQL代码,并解析表级字段级血缘

4.运维中心->元数据:

(1)采集数据表周期性任务运行完成后数据量变化;

(2)【读取趋势图】统计数据表是从开发环境还是生产环境进行读取,字段关联次数与任务执行次数和该字段在代码中出现的次数相关,此数据为离线统计,有T+1的延迟

(3)【字段热明细】字段在SQL中的使用次数(where、select、join、groupBy)的统计信息

(4)【读取Top人员】统计近30天内,在SQL中对表的读取人员的统计信息(包含调度使用的生产账号和个人账号的访问),其读取内容包括对字段的where、select、join、groupBy等操作

5.数据保护伞->元数据:数据经过数据保护伞脱敏加密后,再由元数据采集6.数据质量->元数据:采集表配置的检核规则

7.元数据->数据地图:数据地图基于元数据采集信息,做加工展示

8.数据地图->数据质量:

(1)数据探查:可设置手动探查与自动探查,展示数据统计信息和分布情况

(2)检核规则:展示当前表配置的数据质量监控规则及DQC告警列表

(3)配置规则:跳转数据质量页面为表配置质量监控规则

9.数据地图->数据服务:数据表可直接跳转数据服务进行API开发、API注册、服务编排

10.数据地图->数据分析:数据表可直接跳转数据分析产品模块进行分析

04治理应用

通过对数据表使用消耗进行分析,全局把控计算与存储成本,提升使用效率。

通过获取完整的元数据信息:涵盖表粒度元数据信息、任务粒度元数据信息、hdfs文件元数据信息;基于元数据和内部气体数据,构建丰富的元数据CDM层宽表和维表。通过模型产出的报告可实现更多视角观测数据现状和任务现状;通过建监控、定规范、搭工具完成治理动作。

详细路径如下:

 图 数据治理实施路径


http://chatgpt.dhexx.cn/article/l2QGT5Js.shtml

相关文章

【数据库管理】⑩数据字典

1. 数据字典的概述 数据字典(Data Dictionary)是数据库管理系统中的一个重要组成部分,它是一个存储数据库元数据的集合,包含了数据库中所有对象的定义和描述信息。数据字典可以帮助用户了解数据库中的各种对象和数据结构&#xff…

List中remove()的用法

List remove的三种正确方法 1、倒序循环,因为list删除只会导致当前元素之后的元素位置发生改变,所以采用倒序可以保证前面的元素没有变化; for(int ilist.size()-1;i>0;i--){ list.remove(i); }2、顺序循环时,删除当前位置的…

JSP内置对象Session——setAttribute/getAttibute/removeAttribute

本文章代码使用了request内置对象,可先查看之前的文章学习。 前言 一、Session使用环境 二、常用方法 三.使用示例 1. 设计某系统登陆模块,该模块需满足以下条件: 2.login.jsp登录页面 2.check.jsp校验页面 3. success.jsp成功登录页面…

Iterator remove()详解

转自:http://blog.51cto.com/tianxingzhe/1693218 一、Iterator的API 关于Iterator主要有三个方法:hasNext()、next()、remove() hasNext:没有指针下移操作,只是判断是否存在下一个元素 next:指针下移&#xff…

VLAN命令行配置

VLNA配置任务概览 各配置任务间的逻辑关系: VLAN配置任务概览: 配置任务描述划分VLAN创建并划分VLAN,将没有二层互通需求的用户进行隔离,可增强网络的安全性、减少广播流量,同时也减少了广播风暴的产生。配置通过VLA…

VLAN配置命令

VLAN作用 分割广播域 VLAN分类 静态VLAN 基于端口划分 动态VLAN 基于MAC地址划分 VLAN范围 0-4095 共4096个vlanID 0与4095系统保留 1-4094可用 VLAN配置命令 VLAN基础配置代码 添加vlan(2-4094) vlan 10 删除vlan undo vlan 10 批量增加 vlan batch …

华为 -VLAN配置

按照实验拓扑图接线。 配置PC1:IP(192.168.1.1/24),PC2:IP(192.168.2.1/24)。测试PC1和PC2的连通性:用PC1去PingPC2,查看Ping的结果,并解释原因。 PC1和PC2在不同的网段,不能ping通 配置PC1&…

华为交换机vlan配置

拓扑图: 配置命令: sw1: sys sys sw1 vlan 10 vlan 20 int e0/0/1 port link-type access port default vlan 10 int e0/0/2 port link-type access port default vlan 20 int e0/0/3 port link-type trunk port trunk allow vlan 10 20sw2: sys sy…

ensp交换机vlan配置

交换机 一、VLAN1、VLAN的概念2、优势3、VLAN的种类4、VLAN的范围5、VLAN标识6、IEEE802.1q工作原理帧格式 二、交换机命令配置1、华为交换机链路类型2、添加VLAN 一、VLAN 1、VLAN的概念 VLAN(Virtual Local Area Network)即虚拟局域网,是…

eNSP VLAN配置

按如上拓扑图进行配置: 1、按拓扑图标记,划分VLAN,分配固定IP 2、开启两个路由器的DHCP服务,分配所有客户机IP地址 3、实现全网互通 一、划分VLAN,分配固定IP 因为两个路由器连接不同的交换机,所以左右两…

华三vlan配置

基于MAC地址划分vlan 配置思路: 创建VLAN 100、VLAN 200。 配置Device A和Device C的上行端口为Trunk端口,并允许VLAN 100和VLAN 200的报文通过。 配置 Device B 的下行端口为Trunk端口,并允许VLAN 100和VLAN 200的报文通过;上行…

计算机网络配置——VLAN的配置

一、实验目的 了解VLAN的作用和用途;掌握单一交换机与跨交换机划分VLAN的配置方法; 理解VLAN标签添加和删除的过程。 二、实验任务 在思科模拟器中实现下图所示的VLAN的配置: 使用ping命令验证配置结果,并完成实验报告。 二、…

H3C_交换机_Vlan配置

奶奶说,没事不要和小学生比爹。 一、实验环境 HCL v2.1.2win7操作系统 二、拓扑结构 三、模拟环境 一般用于企业网络或者需要对局域网进行逻辑区域划分的网络。不同vlan间一般情况是不能相互访问的,这样就可以减少广播和提高网络安全性。 四、介绍 …

华为交换配置之VLAN配置。

每天进步一点点! 08 vlan 配置与原理 vlan 虚拟局域网 作用:实现同一vlan的设备才可以进行通信,不同vlan不能通信。 vlan tag:接口配置vlan后发生数据会携带相应的vlan tag(vlan 标签) VLAN ID&#…

VLAN,简单配置vlan

VLAN 在交换机中工作 分割广播域 物理分割--------子网掩码划分 逻辑分割---------VLAN划分 VLAN的优势 控制广播 增强网络安全性 简化网络管理 VLAN的种类 静态VLAN:基于端口划分静态VLAN 动态VLAN:基于MAC地址划分动态VLAN VLAN的ID范围 0~4095共4096…

VLAN基本配置

目录 一、VLAN概述 1、VLAN概念 1)分隔广播域的两种方法 2、VLAN优势 1)控制广播 2)增强网络安全性 3)简化网络管理 3、VLAN的种类 二、静态VLAN的配置 1、VLAN的范围 2、VLAN基本配置 1)创建VLAN 2&#…

交换机VLAN基本配置

一、实验目的 (1)掌握交换机路由器基本配置。 (2)掌握VLAN基本配置。 二、实验环境 (1)4人1组,每组运行Windows 2008 Server/Windows XP/Windows 7/ Windows 10 操作系统的PC机4台&#xff0c…

华为ENSP的VLAN配置

华为ENSP vlan配置实验 实验一 实现同一个vlan下面的不同网段的ping通 网络拓扑图如下: ①配置两个pc端的ip地址和子网掩码、网关 ②对交换机进行vlan的配置 1)创建vlan2 [SA]vlan 2 [SA-vlan2]quit2)将两个网段的网关都加入vlan2 中&am…

VLAN简单配置详细过程

实验拓扑图 一、PC的 ip配置 PC1 Ip&#xff1a;192.168.1.1/24 PC2 Ip&#xff1a;192.168.1.2/24 PC3&#xff1a; Ip:192.168.1.3/24 PC4&#xff1a; Ip&#xff1a;192.168.1.4/24 二、路由器中命令 AR1中指令 <Huawei>undo t m …

VLAN配置

实验效果&#xff1a;相同VLAN能通讯&#xff0c;不同VLAN不能通讯 1.配置拓扑图如下&#xff1a;&#xff08;两台交换机和四台主机终端设备&#xff09; 2.四台终端设备设置IP地址和网关 PC0 IP地址&#xff1a;192.168.2.11 网关 192.168.2.1 PC1 IP地址&#xff1a;192.…