总体架构图

数据存储

计算引擎

数据汇聚

数据汇聚是把数据资源通过实时、批量的方式存储到数据中台。基本是按照数据的原始状态堆砌在一起的，是企业对过往所有IT信息化建设积累的成果的融合。

数据开发

数据开发是数据资产内容建设的主战场，是数据价值生产过程中核心环节。数据资源是原材料，数据资产是商品，数据开发就是商品生产流水线，通过这条流水线将数据资源转换成数据资产。

为了降低开发难度，提高开发效率，需要一个可视化的开发平台，主要包括以下产品功能：

数据体系

数据体系是在全域数据资源的基础上，进行标准定义及分层建模，数据体系建设最终呈现的结果是一套完整、规范、标准、准确的数据体系，可以方便支撑数据应用。

贴源数据层STG：数据资源通过批量同步和实时接入临时存储的数据层，只存储增量数据或部分全量数据。数据结构与源系统基本保持一致。仅做简单整合、非结构化数据结构化处理、增加审计列，不做深度清洗加工。

操作数据层ODS：对贴源数据层进行处理，存储全量数据。数据结构和贴源层保持一致。

统一数仓层DW：分为明细数据层DWD、汇总数据层DWS和公共维度层DIM。按照维度建模的方式进行数据组织，定义一致的维度和指标，各业务板块、业务域按照统一规范独立建设，通过清洗、规范化形成统一规范的标准业务数据体系。

明细数据层DWD：按照业务过程建立事实表，主要包括维度表的键、原子指标、少量冗余列和审计列。

汇总数据层DWS：把DWD层按照业务域进行聚合，形成粗粒度的事实表。主要包括维度表的键、派生指标、少量冗余列和审计列。

公共维度层DIM：按照实体对象或数据字典建立维度表，主要包括文本信息、离散数值和审计列。

标签数据层TDM：面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系，方便深度分析、挖掘、应用。主要包括标签类目、标签和标签值。

数据应用层ADS：按照业务的需要从统一数仓层和标签数据层抽取数据，并面向业务的特殊需要加工业务特定数据，以满足业务及性能需求，向特定应用组装应用数据。

资产管理体系

数据资产是指由企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，如文件资料、电子数据等。在企业中，并非所有的数据都构成数据资产，数据资产是能够为企业产生价值的数据资源。

数据资产管理是指规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理，以确保数据资产保值增值。

数据标准管理

数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准分为基础类数据标准和指标类数据标准。基础类数据标准是指业务流程中直接产生的，未经过加工和处理的基础业务信息。指标类数据标准是指具备统计意义的基础类数据，通常由一个或以上的基础数据根据一定的统计规则计算而得到。

数据标准包括三个要素：标准类别、数据元、数据属性。

数据标准管理是指数据标准的制定和实施的一系列活动。数据标准管理的目标是通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理，为数据资产管理活动提供规范依据。

数据模型管理

数据模型是现实世界数据特征的抽象，用于描述一组数据的概念和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。

数据模型管理是指在信息系统设计时，参考业务模型，使用标准化用语、单词等数据要素来设计企业数据模型，并在信息系统建设和运行维护过程中，严格按照数据模型管理制度，审核和管理新建数据模型，数据模型的标准化管理和统一管控，有利于指导企业数据整合，提高信息系统数据质量。

数据模型是数据资产管理的基础，一个完整、可扩展、稳定的数据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理可以清楚地表达企业内部各种业务主体之间的数据相关性，使不同部门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务数据的统一完整视图。

数据质量管理

数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。

元数据管理

元数据是有关一个企业所使用的物理数据、技术和业务流程、数据规则和约束以及数据的物理与逻辑结构的信息。

元数据管理是数据资产管理的重要基础，是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。

数据安全管理

数据安全管理是指对数据设定安全等级，按照相应国家/组织相关法案及监督要求，通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类，完善数据安全管理相关技术规范，保证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据安全管理，规划、开发和执行安全政策与措施，提供适当的身份以确认、授权、访问与审计等功能。

数据安全管理的目标是建立完善的体系化的安全策略措施，全方位进行安全管控，通过多种手段确保数据资产在“存、管、用”等各个环节中的安全，做到“事前可管、事中可控、事后可查”。

数据的安全治理应贯穿于数据的整个生命周期