元数据管理

article/2025/8/26 11:24:06

元数据管理的核心功能如下:


 元数据采集

 在操作方式上分为自动采集和手动采集两种:

  • 自动采集:定义自动的、定时的采集任务。采集任务为自动调度的工作单元,为元数据的采集提供自动化的、周期性的,或指定某个时间触发的机制。支持通过界面来维护任务,如查询、新增、修改、删除,可以配置任务自动执行的时间、状态。
  • 手动采集:手动采集是指选择本地文件上传到服务器来手动采集元数据。相对于自动采集,手动采集功能属于手工方式实时采集保存在本地文件中的元数据信息,如保存在excel文件中的元数据。

同时,提供采集日志信息的查看,检查采集是否成功。查看采集日志可以查询到采集任务的如下信息:开始时间、任务状态、结束时间、过程日志,采集的数量等等。

元数据采集完成后,存储在数据库中,支撑包括元数据统计、查询、血缘分析、影响性分析、数据资产地图等元数据应用。


元数据存储

依照元数据管理制度及要求,获取元数据后,根据规则进行元数据分类,后续根据每类元数据定义,实现元数据的分类管理。元数据分为业务元数据、技术元数据和管理元数据。

  • 业务元数据:介于业务人员和系统之间的语义层,包含业务定义,业务部门,业务规则,管理部门等信息。
  • 技术元数据:主要指所在系统的数据类型,数据处理逻辑,表/字段等技术细节信息。
  • 管理元数据:主要指数据访问权限,数据处理作业的结果等数据处理过程的元数据。

元数据管理

  • 元数据查询:

背景:元数据系统采用树形方式来统一展示元数据信息,层级结构清晰,便于用户直观了解元数据组织结构。但由于元数据来源繁多,数量巨大,很难快速地精准定位到用户所关心的特定的元数据信息。

自助式元数据查询为用户提供直观简洁的界面,用户根据自定义搜索条件,查询符合该用户访问权限的所有元数据信息,以列表的形式展现出来,支持模糊查询。

  • 元数据统计:

用于统计各类元数据的数量,如各部门提供的各类数据的种类,各部门数据被使用的冷、热度等,方便用户掌握大数据平台中元数据的汇总信息。元数据统计的展现方式有报表,图形等直观的方式。

  • 元数据版本管理:

元数据版本管理用于管理元数据的版本发布,以及基于版本的元数据查看、比对等操作,通过版本管理功能,用户可以更清晰了解元数据的版本变更历史,掌握元数据生命周期,提升了后续使用元数据的可靠性。例如,当某个信息系统的元数据第一次全量采集进入元数据管理库中,对其发布一个基线版本;经过几年后,该信息系统进行了一次重大升级,许多数据结构都被改变了,还有新增和删除的元数据,这时候再对元数据进行一次全量采集,对其发布第二个版本。

  • 元数据变更管理:

主要是在线对元数据进行变更,如对属性值进行修改,对变更历史和变更明细进行查询,对变更前后进行差异比对。

用户可以自行订阅权限范围内自己所关注的元数据,当这些元数据发生变更后,系统将以邮件、短信等形式通知用户变更的发生,用户可根据指引,进一步在系统中查询到该变更的具体内容及相关的影响性分析。


元数据分析

  • 影响分析:

元数据影响性分析指的是评估数据变更对数据应用的影响。影响性分析能帮助用户迅速了解分析当前元数据对象的下游数据信息,快速识别元数据的价值,掌握元数据变更可能造成的影响,以便更有效的评估变化带来的风险。

  • 血缘分析:

血缘分析是建立在元数据整合的基础上,记录数据治理过程中的血缘关系,基于这些血缘关系信息,可以进行以数据流向为主线的血缘追溯功能,可以一直追溯到数据的产生。

血缘分析的输出结果包括回溯过程中所找到的所有相关元数据对象,以及这些元数据对象之间的关系。这些元数据对象可能是指标、接口文件、报表、数据库表、数据库视图、数据立方体实体、数据处理过程和数据源接口等。

血缘分析通过图形化的方式展示给用户,用户看到的是代表该元数据血缘关系的一条分布有各个节点的链形图,图中的每一个节点代表数据来源过程中的一个步骤。

  • 数据资产地图:

大数据平台内的元数据种类繁多、形式各异,元数据查询、血缘分析、影响性分析等功能,是面向元数据细节信息的使用需求,更适用于具体的人员,各部门基于元数据开展相关工作,对于领导、管理人员等高层用户,由于关注层次更高,范围更广泛,大量的细节信息不能有效的满足该类用户的需要。

数据资产地图用于在宏观层面组织信息,力求以全局视角对数据进行归并、整理,展现数据的宏观信息。数据资产地图以图形化的方式管理数据资产,提供多形式的图形化展现,如支持全景数据地图,方便用户从宏观角度对数据进行深入的理解,如数据分布情况等。数据资产地图支持数据库级别的数据流向可视化展示,数据按照时间维度的增量、存量展示,便于监控数据的增量、存量情况。


http://chatgpt.dhexx.cn/article/vCAOd3o6.shtml

相关文章

什么是元数据?为何需要元数据?

转 https://www.zhihu.com/question/20679872 作者:贺易之 链接:https://www.zhihu.com/question/20679872/answer/65565699 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 要理解这个问题&…

元数据

一、简介 (一)概念 元数据是描述数据的数据,主要用于描述数据属性(property)的信息,包括数据存储位置、历史数据、资源查找、文件记录等功能。 (二)来源 随着信息技术发展&…

大数据之元数据

文章目录 一、元数据是什么?二、元数据是从哪里来?三、元数据分类四、元数据应用五、元数据管理六、元数据价值写在最后 一、元数据是什么? 歌曲《小芳》中有一段台词:“村里有个姑娘叫小芳,长得好看又善良”&#xff…

一文搞懂元数据

之前讲解数据相关的基本概念的文章,做数据产品,这五个概念一定要搞清楚提到了元数据。这篇文章将会展开细讲,主要分享我学习的过程,我的理解,以及对全过程的总结。 01 初识元数据,我被概念绕晕了 接触新概…

什么是元数据,如何管理和利用元数据?

随着企业信息化建设的不断深入,以及公司数字化型智能转型发展的需要,很多地方都需要做元数据建设与管理 。基于元数据可以开展各种各样的应用设计,比如企业级统一标准规范建设实施、统一的数据管理,统一的授权管理,统一…

数据元与元数据

元数据:描述其它数据的数据(data about other data) 元数据是关于数据的数据,在某些时候不特指某个单独的数据,可以理解为是一组用来描述数据的信息组/数据组,该信息组/数据组中的一切数据、信息&#xff…

什么是元数据(Metadata)

元数据(Metadat)   元数据(Metadata),可能又是一个困惑的中文译文。 【元】,会意字。从一,从兀。甲骨文字形。象人形。上面一横指明头的部位。 上一短横是后加上去的,依汉字造字规律,顶端是一横的,其上可加一短横。…

元数据是什么?如何管理元数据?

元数据是什么?如何管理元数据? 01 什么是元数据?02 元数据的类型1. 业务元数据2. 技术元数据3. 操作元数据 03 元数据管理的目标1. 建立指标解释体系2. 提高数据溯源能力3. 数据质量稽核体系 04 元数据管理的技术1. 元数据采集2. 元数据管理3…

加强防护,近期勒索病毒有点疯狂!

愈演愈烈的勒索病毒攻击 2021年5月7日,美国最大的成品油管道运营商在本月受到重大网络攻击。公司被迫一度关闭整个能源供应网络,极大影响美国东海岸燃油等能源供应。公司在当日缴纳了500万美元赎金。 紧接着,5月14日爱尔兰卫生服务执行局&am…

勒索病毒.[tsai.shen@mailfence.com].faust、.[support2022@cock.li].faust引起的数据被加密恢复

勒索病毒的危害 勒索病毒是最具破坏性和恐怖性的一种病毒。最近[tsai.shen@mailfence.com].faust勒索病毒、.[support2022@cock.li].faust勒索病毒引起了广泛的关注和担忧。 如果您的数据已被勒索软件加密,恢复数据的最可靠方法是使用备份。如果您有备份,可以将备份文件恢复…

勒索预警,近期一大波新型勒索病毒来袭

点击蓝字关注我们 目前勒索病毒仍然是全球最大的威胁,最近一年针对企业的勒索病毒攻击越来越多,大部分勒索病毒是无法解密的,一定要保持高度的重视,近期又有一大波新型勒索病毒来袭...... HildaCrypt勒索病毒 加密后的文件后缀名H…

勒索病毒危害,企业该如何预防勒索病毒

勒索病毒是一种恶意软件,它会对企业内的计算机系统或数据进行加密或锁定,并要求企业支付赎金以解锁或解密。 勒索病毒危害: 数据丢失:勒索病毒可以加密您的文件、照片、视频和其他重要数据,使其无法访问或恢复。如果…

查杀linux服务器木马,定时查杀病毒并隔离

接收到了阿里云服务器的安全告警,主要文件是 /usr/bin/.sshd, /root/aa,使用以下三种方法解决 一. 使用clamav (一)下载 下载方式: (1)下载压缩文件:wget http://www.clamav.net/downloads/…

保障出行安全|科力锐助力长沙黄花国际机场灾备建设

一、民航灾备建设背景 随着我国经济建设的发展,我国机场业已初具规模,机场数量不断提升,航班业务愈加繁忙,机场服务保证能力也在不断增强。为了衔接“空管全球一体化”的发展趋势,实现中国现代化民航系统的建设战略&a…

Mac OS X: 再续〉安全警告,病毒就在你身边

Mac OS X: 再续〉安全警告,病毒就在你身边 1. 沉重 这次心情很沉重!因为这个间谍软件居然和咱们中国又有着联系!联想到前些日子的Goolge对中国说不做恶,指责中国如何如何的,这些就不重复了,结果是那些外国…

暴力破解介绍

暴力破解介绍 1、原理说明 暴力破解即账号枚举,攻击者使用自己的用户名和密码字典,对目的服务器进行一个一个尝试登陆,主要字典足够强大,肯定就会猜解成功。尝试爆破成功后,为攻击者下一步渗透做准备。 2、危害说明 目…

Petya勒索病毒

Petya勒索病毒 1、原理说明 2017年6月27日晚,印度、俄罗斯、西班牙以及欧洲多国遭受大规模Petya勒索病毒袭击,该病毒远程锁定设备,并索要赎金。其中乌克兰地区受灾害最为严重,政府、银行、电力系统、通讯系统、企业等都受到不同…

服务器该怎么预防勒索病毒

场景描述 随着互联网飞速发展,各企业不论大小基本都搭建了属于自己公司的服务器。例如文件服务器、代码服务器、业务系统服务器、数据库服务器等。虽然服务器种类各有不同,但共同点都在于:是公司重要的数据中心。一旦被勒索病毒侵占&#xf…

MSF(Metaspolit)复现MS12-020蓝屏漏洞

什么是漏洞? 漏洞(Vulnerability)又叫脆弱性,这一概念早在1947年冯诺依曼建立计算机系统结构理论时就有涉及。 微软的RPC漏洞和蠕虫病毒 RPC接口中的缓冲区溢出冲击波蠕虫病毒——》席卷全球80%计算机 MS08-067漏洞Conficker&…

新型勒索病毒已经出现

今日一个使用Go语言编写的勒索病毒正在攻击国内企业。该勒索病毒会加密计算机中的重要文件,将文件后缀修改为“.locked”,索要赎金0.2BTC。我们根据其加密后缀将其称为“locked”勒索病毒。 0x1传播分析 黑客通过“永恒之蓝”漏洞入侵企业中的一台计算…