数据标准化实施

article/2025/9/14 0:25:56

1.数据标准分类及制定

(1)数据标准的概念

数据标准:数据是企业资产。识别和定义业务数据,对关键数据制定并发布企业范围内的数据定义和标准。每一数据都有唯一指派的拥有者,负责定义数据的使用规则和保护规则。
根据全国信息技术标准化技术委员会大数据标准工作组制定的大数据标准体系,大数据的标准体系框架共由7个类别的标准组成,分别为基础标准、数据标准、技术标准、平台和工具标准、管理标准、安全和隐私标准及行业应用标准。
数据标准开发流程包括以下活动:提出需求、开发业务数据标准(BDS)、评审、发布、归档等。数据标准是对数据的表达、格式及定义的一致约定,包含数据业务属性、技术属性和管理属性的统一定义;数据标准的目的是使组织内外部使用和交换的数据是一致的、准确的。
数据标准是数据质量管理的基础,为数据的准确性、一致性等方面的判断提供依据。数据标准分为基础类数据标准和指标类数据标准。基础类数据标准一般包括主数据标准、逻辑数据模型标准、物理数据模型标准等;指标类数据标准一般分为基础指标标准和技术指标标准。建议企业:
第一,在数据标准内容框架上覆盖数据业务维度、技术维度和管理维度的内容。其中,业务维度包括:名称、业务定义、分解维度等;技术维度包括:代码格式、取值范围、长度、精度等;管理维度包括:数据责任部门、标准发布废止日期等。
第二,在数据标准分类框架上覆盖主数据标准、指标数据标准。其中,主数据标准包括:人力资源主数据标准、财务主数据标准、采购主数据标准等;指标数据标准包括:企业战略与管控指标数据标准、企业投资与运营指标数据标准、企业服务与支撑指标数据标准、产业板块运营指标数据标准。
(2)如何制定数据标准
数据标准管理是针对企业范围内的数据,制定符合企业业务需求及未来发展趋势的数据标准,并在各部门、各应用系统得到正确、及时的执行与应用;同时,根据业务的不断变化与发展,更新维护数据标准并应用到各部门和应用系统,以适应最新的业务、保证与业务目标的一致性。数据标准管理体现在数据标准的制定、审核、执行、反馈各个工作环节中。
数据标准管理策略:是数据标准维护流程的基础,主要定义了各职能部门在数据标准制定和执行过程中的职责和权利。
数据需求定义:是一个动态的持续过程。清晰的业务功能定义是定义数据需求的基础。
数据标准定义:反映了多个相关业务部门对数据标准的理解和业务定义,业务部门参与是数据标准定义的关键因素。
数据标准发布实施:是保证数据标准应用的基础。一个强有力的跨部门的领导力量是数据标准实施的基本保障。
数据标准应用反馈:是一个从需求到应用的闭环过程。畅通的应用反馈渠道是使数据标准维护流程进入良性循环的关键环节。
数据标准歧义仲裁:由于数据标准是一个跨部门的面向业务应用的标准,在数据标准应用发生歧义时,权威的仲裁是数据标准可操作的基础。
数据标准修订:是一个“需求—定义—审定—发布—应用反馈”的一个连续工作流程,保证数据标准实时适应业务需求。
建议企业通过如下四大举措制定数据标准:
(1)制定可落地的执行方案。执行方案要侧重于可落地性,不能落地的方案最终只能被废弃。一个可落地的方案要有组织架构和人员分工,每个人负责什么,如何考核,怎么监管,都必须纳入执行方案中。
(2)正确认识数据标准建设的目的,即是统一组织内的数据口径,指导信息系统建设,提高数据质量。
(3)充分认识到数据标准化的难度。要取得管理决策层的支持,提升组织管理水平,做好长期推进的工作准备。
(4)建立起科学可行的数据标准落地形式。需要考虑如何把数据标准落地到已有的系统和大数据平台中。
通过制定符合企业实际情况的数据标准、规范,建立企业级元数据管理体系,并推动其在企业各领域落地,支撑数据底座建设与数字化运营。企业可以参考使用数据标准模板(详见附录2),从业务、技术和管理三个视角,详细描述每个L5级数据(即:属性)的数据标准内容:
第一,业务视角:例如,主题域、业务对象、逻辑数据实体、数据分类、业务属性、业务定义及用途、业务规则、同义词等。
第二,技术视角:例如,物理表、系统字段、数据类型、数据长度、是否有允许值列表、允许值、数据示例等。
第三,管理视角:例如,业务规则责任主体、数据维护责任主体、数据监控责任主体等。

2.数据标准框架体系

对于企业而言,数据标准化是企业信息化、数字化的基础工作,它不仅提高了数据共享性,还未企业提供了统一的数据视图、数据规范及符合行业标准的代码标准。
数据标准化应遵循以下原则:
1)统一标准的数据定义:减少数据定义的二义性。
2)统一数据模型管理:确保建立起整体的、企业级的数据模型,能跨系统、跨应用、跨业务域,完整表述企业通用的、一致的数据视图。
3)统一数据编码规则:对数据的统一标准话管理还包括统一的编码规则。
数据标准贯穿于整个数据生命周期中,数据标准体系框架如图所示:
在这里插入图片描述

作业类技术规范:包括数据采集规范、数据安全规范、数据分类规范、主数据管理规范、数据建模规范、元数据管理规范等。作业类技术规范根据作业层面的技术操作和管理要求,对数据标准化的贯彻和执行予以约束。
基础类数据标准:包括业务术语、业务规则、命名规范和代码标准。创建数据标准需要业务领域的知识,以确保从创建开始,组织内部对数据标准有着一致性的理解。
对象类数据标准:包括数据分类标准、主数据标准、数据源标准、交易数据标准、指标数据标准、标签数据标准和主题数据标准。对象标准阐述了数据对象的分类,以及每类数据对象的分类、定义、命名、描述及管理流程或规范。
架构类数据标准:包括数据目录、数据模型、数据分布与流向、数据交换、数据服务和元数据标准。数据标准需要基于企业级的数据架构,从逻辑层面定义数据的获取和使用。
应用类数据标准:指在开发部署信息化应用时,需要实现的职能管理、业务管理的流程或功能要求。
数据化标准保障机制:包括数据标准化组织和标准化制度、认责和绩效、人才培养、数据文化。数据标准化保障机制从组织、制度及工作机制、认责与绩效等方面,为数据标准化工作提供保障。
数据标准化管理工具:包括数据共享、服务、数据标准、数据目录、数据模型、指标数据、元数据、主数据等管理工具。数据标准化工作需要技术工具的支撑,作业类技术规范需要落实到数据治理及数据资产管理相关软件上,从管理流程和技术落地两个方面建立数据标准化的长效机制。
数据生命周期的各个环节都离不开数据标准的支持。数据各个环节标准如下:
1)数据源 产生数据的时候需要遵循业务术语标准、参考数据标准和主数据标准。
2)数据采集的时候需要遵循数据数据元标准、元数据标准、数据采集标准等。
3)数据存储的时候需要遵顼数据分类标准、业务规则、命名规范等。
4)数据加工的时候需要遵循数据建模规范、数据模型规范、ETL作业规范等。
5)数据应用的时候需要遵顼数目规范、数据分布与数据流向规范、数据标签规范等。
6)数据归档的时候需要遵循数据归档规范等。
7)数据销毁的时候需要遵循数据销毁规范等。

3.数据标准保障机制

数据标准化是一项长期性的、体系化的工作,为保障数据标准化有效落地,需要建立健全的数据化保障机制。企业数据标准化保障机制包括管控组织、制度建设、认责机制与绩效评估、人才培养、数据文化 。
1.管控组织
数据标准化需要根据企业的管理要求、管控定位、管理模式及业务特征等因素,在企业内部组织资源、搭建流程、开展业务、实施落地,通过构建数据标准化专业团队或人员,以及专业指责分工、跨域协同联动,形成顺畅的沟通、协商、合作机制。组织设计应满足职能覆盖、高效协同、引领创新的要求,并与企业整体业务、组织、管理模式升级发展相匹配,分工明确、各司其职,强化数据标准化各项工作的落地执行及跟踪监督。
2.制度建设
企业在对数据资产管理体系工作进行标准化管理,需要制定有关数据标准规定,为包含数据标准管理在内的各项工作提供规则、定义会标准规范。
3.认责机制与绩效评估
数据标准化需要依据原则制定有效的认责流程,有明确的认责分工,确定数据绩效评估规则、绩效评估的步骤和流程等。
4.人才培养
企业要进行数据标准化,就需要建立包括培训体系、人才评估体系在内的能力培育与建设体系,明确数据人才的知识和能力结构要求及专业人才培养计划。
5.数据文化
在企业内部要持续推进数据文化建设,加强数据文化理念和案例宣传,提升企业各级管理人员的数据思维,构建数据话语环境,将数据融入企业各级部门和各业务单元的运营模式、思维方式中,在企业内部营造良好的数据文化氛围。

4.数据标准化实施

数据标准化实施工作涉及诸多领域,企业应根据自身的特点和具体情况,在做好统筹规划的基础上,按照一定的步骤和计划有序开展实施工作。
1.数据标准管理实施
数据标准管理实施应依据规划内容的基础性、关键性和紧迫性,将相关内容分批次、分阶段予以实施,标准管理体系的实施路线可分为强化数据标准服务基础、提升数据标准统筹管控能力和形成数据标准服务能力3个阶段。
2.数据分类实施
数据分类是实现数据资产化管理的基础,合理的数据分类将为数据的管理和应用提供更好的保障,根据管理与应用需求的不同,数据分类可以从多个不同的视角和维度进行。数据分类应遵循以下原则:科学性、稳定性、唯一性、一致性、主次性。
3.数据分级实施
数据分级是根据数据的敏感程度和数据遭到篡改、破坏、泄露或非法利用后对受害者的影响程度,按照一定的原则和方法进行定义。企业数据分级首先从安全合规性、数据保护要求的角度出发,其次从数据价值和应用需求考虑,要兼顾企业数据管理的综合要求。数据分级原则包括:依从性、执行性、时效性、自主性、合理性、客观性。
4.主数据管理实施
主数据管理实施要在起始阶段建立有效的组织保障及制度支撑,形成数据标准化和规范化的管理模式,然后持续有效的运营。
5.数据指标管理实施
在数据指标管理实施时,必须对基础类数据加工而产生的指标数据进行标准化管理,构建指标体系,进行科学的指标分类,并建立一系列的保障机制。
6.元数据管理实施
企业企业元数据实施主要包括需求分析、规划设计、工具实施、持续运维4个阶段。元数据的实施可以帮助q快速摸清数据家底,建立数据资产目录,通过统一的数据地图,快速浏览和检索数据,发挥数据价值最大化,解决q数据孤岛问题。
7.数据模型管理实施
数据模型向上承接业务语义,向下实现 物理数据,它不但包含数据字典,更重要的是包含业务主题、业务对象、数据关系及数据标准映射。所以基于数据标准的数据建模,是数据标准落地的重要抓手,数据建模的成功可使数据标准落地实施事半功倍。

5.数据标准化管理工具

数据标准化实施和管理涉及复杂的管理流程、组织协同的技术作业,因此,需要依靠相应的技术平台和工具支撑数据标准化管理工作。数据标准化管理工具一般包括数据地图、主数据管理、数据指标、元数据管理、数据模型工具、数据交换与服务工具、数据资产管理、数据开发、数据质量管理、数据安全、数据成本管理等部分。这些工具在后面章节中进行详细阐述,此处不赘述。


http://chatgpt.dhexx.cn/article/yKBsx61g.shtml

相关文章

python数据预处理 :数据标准化

何为标准化: 在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同…

数据处理标准化方法

归一化(Normalization) 1.把数据变为(0,1)之间的小数。主要是为了方便数据处理,因为将数据映射到0~1范围之内,可以使处理过程更加便捷、快速。 2.把有量纲表达式变换为无量纲表达式&…

6 EXCEl格式标准化规范化

1 数值文本转数值 2 查找替换 使用SUBSTITUTE(B10,".","/") 3日期格式规范化 TEXT(F3,"##-##-00") 1数据-分列 最后选择日期 2TEXT(J3,"##-##-00") 4 格式刷

数据的标准化

数据的标准化 数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指…

数据标准化处理

一、为什么进行标准化处理 在多指标评价体系中,由于各评价指标的性质不同,通常具有不同的量纲和数量级。当各指标间的水平相差很大时,如果直接用原始指标值进行分析,就会突出数值较高的指标在综合分析中的作用,相对削…

excel数据标准化

##加载程序包 from openpyxl import load_workbook #利用openpyxl程序包向指定excel单元格写入值 from sklearn.preprocessing import StandardScaler #利用StandardScaler数据标准化处理 import pandas as pd #利用pandas加载excel,得到dataframe结构 dataset pd.…

vue导出excel并修改表头样式

vue导出excel并修改样式 本文参考CSDN蓝色的落叶(侵删) DEMO下载 安装插件 npm install --save xlsx(修改样式需要下载npm install --save xlsx-style) npm install -S file-saver npm install -D script-loader 安装npm install --save xlsx-style会出…

vue 实现Excel 导出

前言 数据表格的导出,是实际开发的常见功能,前后端都可以实现表格导出,讲解自己在用的一种。 获取数据源,可以通过后端接口实现,也可以利用分页查询的表格接口来实现。 处理数据,对excel表格的表头&#…

vue导出excel并修改样式

1.首先安装以下三个安装包 npm install --save xlsx(修改样式需要下载npm install --save xlsx-style)npm install -S file-savernpm install -D script-loader 注意:如果安装了npm install --save xlsx-style 会报错:This relative module was not fo…

springboot vue导出excel 使用easypoi

springboot vue导出excel 处理后端返回的文件流&#xff0c;下载成excl文件 vue <el-button class"el-icon-download" type"success" click"exportExcel()">导出</el-button>没封装axios exportExcel() {axios({url: 请求地址, …

Vue导出Excel表格信息

一、安装两个依赖包 npm install -S file-saver xlsxnpm install -D script-loader二、项目中新建一个文件夹 里面放置两个文件Blob.js和 Export2Excel.js。 同时注意Export2Excel里引用Blob的路径是否正确。 三、使用案例 3.1、使用注意事项 表头对应的键要和传过来的数据…

vue导出excel表

方法一&#xff1a;vue2.0 element UI 中 el-table 数据导出Excel 。https://blog.csdn.net/u010427666/article/details/79208145 方法二&#xff1a; 1.安装2个依赖包&#xff08;其实是3个&#xff09; npm install -S file-saver xlsxnpm install -D script-loader 2.在…

Vue导出Excel的实现方法与原理

摘要&#xff1a;本文将详细介绍前端Vue中导出Excel的方法&#xff0c;包括使用第三方库和纯前端实现两种方式。同时解释其原理&#xff0c;帮助读者了解如何在Vue项目中高效地导出Excel文件。 第三方库&#xff1a;exceljs exceljs是一款功能强大的JavaScript库&#xff0c;它…

Vue实现excel文件的导出功能(后端直接返回文件流)

✍️ 作者简介: 一个每天中午去打篮球和锻炼的前端开发。 &#x1f408;‍⬛ 两只猫&#x1f431;和一只狗的铲屎官&#x1f436; &#x1f9e3; 微博: GuoJ阝阝&#xff08;fu&#xff09; 文章目录 前言一、实现效果二、实现步骤1、添加导出按钮2、添加点击事件函数3、获取当…

vue导出excel表格(详细教程)

在开发的时候&#xff0c;会经常用的导出excel表格功能,刚好自己开发有遇到&#xff0c;就记录一下 一、安装vue-json-excel npm install vue-json-excel -S二、main.js中引入 import JsonExcel from vue-json-excel Vue.component(downloadExcel, JsonExcel)三、在代码中使…

Vue2中导出Excel

目录 方式一 &#xff1a;vue-json-excel 1、引入vue-json-excel 2、 main.js中全局注册 3、使用 4、效果图 ​​ 方式二&#xff1a;file-saver、xlsx、script-loader 1、引入依赖 2、下载并引入Blob.js和Export2Excel.js 3、使用 4、效果图 导出指定的记录 1、引…

内网建站 NAT穿透 局域网穿透

背景&#xff1a; 一直想搭建个人的博客&#xff0c;但是买云服务器一年动则几千少则几百&#xff0c;想到家里有一台空闲的笔记本&#xff0c;于是乎想到了内网穿透&#xff5e; 准备工作&#xff1a; 个人电脑一台&#xff0c;小蝴蝶内网穿透 步骤一&#xff1a; 搭建好内网博…

内网穿透是什么?

文章目录 内网穿透的目的内网穿透的阻碍如何实现知识点正向代理反向代理 参考&#xff1a; 内网穿透 知识点 内网穿透是什么&#xff0c;如何利用花生壳实现内网穿透 内容从网络上收集而来 内网穿透的目的 使得外网能够访问内网应用。 或者&#xff0c;使得 两个内网能够相互通…

内网穿透-把自己的电脑部署为公网可访问的服务器

推荐一款工具&#xff0c;能够把自己电脑上的项目暴露到公网上、把自己的项目展示给别人看看。 使用很方便&#xff0c;可免费&#xff08;有收费项目&#xff09;使用。 下载 工具叫做 cpolar &#xff0c;其下载地址为&#xff1a;https://i.cpolar.com/m/4GSo &#xff0c…

内网穿透技术有哪些(经验分享)

内网穿透技术&#xff1a;说到内网穿透&#xff0c;相信很多人肯定一知半解&#xff0c;到底什么是内网穿透呢&#xff01;什么情况下需要内网穿透呢&#xff01;接下来给大家简单的述说一下原理&#xff0c;内网穿透&#xff0c;也即 NAT 穿透&#xff0c;进行 NAT 穿透是为了…