数据体系建设-ODS|DW|TDM|ADS介绍

article/2025/9/27 19:16:17

参考书目《数据中台:让数据用起来》 

  • ODS:各业务生成的基础数据存表,如log日志数据等
  • DW:在ods基础上,分主题整合数据
  • TDM:存储标签数据
  • ADS:基于上面的数据源整合而成的供业务应用的指标报表等

贴源数据层ODS

贴源数据层ODS(Operational Data Store,又称操作数据层):对各业务线生成的基础数据的采集汇聚

数据仓库ADS、DWD、DWS、ADS分层详解 - 百度文库

获取方式:ELT (抽取-加载-转换),原始数据存储在文本类型的大字段中(jason串),在通过解析任务将数据解析到结构化的数据表中。

命名规范:ODS_系统简称_业务系统表名,区分增量表和全量表,增量表会在后缀加_delta

生成过程:确定业务系统源记录-配置映射关系,增加日期,分区等标识信息-配置数据同步方式(增量汇总还是全量,是否对全部数据进行条件筛选同步)-整理需要同步的数据-导入数据验证并发布最终采集任务

贴源数据是按照业务流程(日志层面)组织数据,不便于业务理解和分析

统一数仓层DW

在DW层,数据会被按照主题进行建模,即按照不同的业务领域或业务流程进行分类和组织。

统一数仓层DW(Data Warehouse):又细分为
明细数据层DWD(DataWarehouse Detail):
汇总数据层DWS (Data Warehouse Summary):对DWD层数据进行聚合和计算,生成各种汇总指标

建模方式:维度建模,用事实表和维度表组织数据

数据域举例:

 假设:以某公司活跃数据为例,建设DW层数据

  •  业务板块:如淘宝支付业务,美团外卖业务等等
  • 数据域:活跃
  • 业务过程:启动APP以及在APP内的一系列活跃行为
  • 修饰类型: 行为时间、行为发生的端(APP、小程序、WAP)
  • 原子指标:动作+度量如:小说阅读PV数,视频播放时长等
  • 派生指标:某时间段内(修饰)使用时长(原子指标)均值(计算方法)
  • 维度表:用户属性(男女、城市)......
  • 事实表:明细事实记录原子数据(事务事实表:增量更新,不能回溯修改),汇总事实记录聚合数据(周期快照和累计快照表)。如每天的活跃行为记录表就是以天为周期的周期快照事实表 

标签数据层TDM

标签数据层TDM(Tag Data Model):面向对象建模,对跨业务板块、跨数据域的特定对象数据进行整合,通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通,形成对象的全域标签体系

标签设计信息

  • 业务方向:标签类目、标签名、标签加工类型、标签逻辑、值字典、取值类型、示例、更新周期、安全等级
  • 技术方向:表名、字段名、负责人、完成时间等

纵表:Key-Value表

用户IDkeyvalue
a01性别

a01

年龄18

横表:二维表(更常用)

用户ID性别年龄
a0118

a02

22

应用数据层ADS

应用数据层ADS(Application Data Store),避免在分析过程中频繁联表操作而创建的应用数据层,根据业务使用需要而个性化数据组装出来的表。不仅从各个表中迁移数据,也可能会进行一些数据加工的工作。

服务范围:常见的服务是用于BI分析,系统性能更强的应用数据可以用户个性化推荐,搜索优化等业务,应用数据层加工的结果数据集,要根据不同的使用场景,同步到不同的存储介质,以达到业务对不同吞吐量和响应时间的需要。


http://chatgpt.dhexx.cn/article/mnVgrF7h.shtml

相关文章

安科瑞ADW系列电力物联网仪表可直接或间接测量电压电流、功率、功率因数、相角、不平衡度、谐波等参数。

1、ADW2XX系列导轨式多回路电力仪表 ● 概述 ADW2xx系列导轨式多回路电力仪表主要用于多个三相回路的全电参量测量,最多可同时接入四个三相回路的电流输入。可直接或间接测量电压电流、功率、功率因数、相角、不平衡度、谐波等参数。 ● 型号说明 主体模块命名&…

adw -- android 平台上比较优秀的开源桌面应用程序之一

转自 (源代码从这里下载) http://www.bangchui.org/read.php?tid56 adw 是android平台上比较优秀的开源桌面应用程序之一. 类似苹果风格的 应用程序列表,还有爆炸效果:

安科瑞ADW300系列三相电能表接线及modbus协议

一、ADW300多功能表接线说明 1、ADW300W(外置电流互感器)三相电子式多功能表直接接线说明 接线说明:ADW300、ADW300-HJ 和 ADW300W 均可采用三相四线经电流互感器接入、三相三线经电流互感器接入、三相四线经电压电流互感器接入和三相三线经…

ADW敏捷数据集市助力客户洞察

注:ADW是Oracle推出的高性能、可灵活扩展的自治数据仓库。Oracle通过将先进的数据库技术与AI技术结合,实现了数据仓库的自动配置、自动安全防护、自动调优和自动伸缩等自治管理功能。几乎可消除所有容易出现人为错误的手动和复杂任务,在帮助客…

手机卫星定位系统_北斗卫星已覆盖130国上空,那手机上能搜到吗?北斗女神这样比喻...

若问现代战争最重要的是什么?有人会说是军事实力,有人会说是经济实力,当然还有一点最重要的,那就是通信和定位功能。在现代战争中,导航卫星可以算得上是武器装备的眼睛。有能力的国家都想着能自己着手研制属于自己的定…

手机卫星定位系统_手机一键“连接”北斗卫星导航?这一设置打开:立马连接,很简单...

手机一键“连接”北斗卫星导航?这一设置打开:立马连接,很简单 据媒体12月9日报道称:中方北斗核心星座2019年底部署完成,在12月9日第十四届联合国全球卫星导航系统国际委员会(ICG)大会举办期间,中方代表宣布…

手机卫星定位系统_手机怎样连接北斗导航?一打开这个设置,马上连接,很简单...

过去的手机还没有现在的手机这么功能全面,过去想要通过北斗导航系统来进行导航,必须拥有硬件芯片的支持才可以使用。而随着手机的不断演变现在的手机几乎都可以支持北斗导航系统。过去的手机导航系统都是独立的,而现在就大不一样了。 现在的手…

手机卫星定位系统_北斗三号最后一颗卫星发射成功完成组网!为何手机上还显示GPS?...

从本世纪的第一年起,我国就开始致力于建成属于自己的卫星导航系统,经过了将近20年的努力奋斗,在今天这一目标终于实现了! 原本我国北斗卫星导航系统的最后一颗卫星原定于6月16日就进行发射,不过为确保发射任务的万无一…

北斗卫星短信通信与定位详解

北斗卫星短信通信与定位详解 北斗通信卫星离地面大约2.15万千米,现在总共有55颗挂在天上合围成一个大球包裹着地球这个小球,地球自转它们也跟着,所以保证了卫星与地面某一点的相对位置可保持不变,所以以后别人问你家住哪的时候&am…

手机卫星定位系统_中国北斗:已启用全球定位服务,我们如何使用手机北斗卫星导航?...

如今全球有四大卫星定位系统,分别是中国的北斗卫星定位系统、美国的GPS卫星定位系统、俄罗斯的格洛纳斯卫星定位系统和欧洲的伽利略卫星定位系统。但是事实上,在之前我国并没有卫星定位系统,而是打算加入欧洲的伽利略计划中的,但是…

手机卫星定位系统_如何判断自己的手机是否支持北斗卫星定位功能,如何使用?...

点击蓝字关注我们 苹果iPhone 12系列将全面支持北斗卫星导航系统(之前苹果手机全系产品均不支持北斗卫星导航系统)。一方面说明我国北斗卫星导航系统得到了美国高科技公司的认可,特别是对于各项性能参数都要求完美的苹果公司;一个方面说明我国自主研发北…

Android开发问题集锦(六)--获取北斗卫星定位信息

Android开发问题集锦六--获取北斗卫星定位信息 程序之美程序之美 获取北斗卫星定位信息需要硬件的支持,市面上的手机设备有支持北斗定位的,有不支持的,但北斗定位在很多特定的业务需求中是很重要的,比如很多朋友在做项目的时候需要利用北斗定位获取定位信息(信号强度、定位…

如何查看自己的手机被是否被别人定位了?

卫星定位说到卫星定位不得不提卫星系统。全球有四大卫星系统,大家最熟悉的莫过于北斗定位系统和GPS定位系统了。除了北斗和GPS,还有俄罗斯的格洛纳斯和欧盟的伽利略定位系统。除此之外还有些区域卫星系统,如日本的QZSS和印度IRNSS&#xff0c…

Android最新API获取北斗卫星定位信息(全网最新)

前段时间北斗导航系统全球组网的最后一个卫星编组入网的消息可谓是使我广大同学都大大振奋了一把,作为一个地道的码工,第一时间想到了怎么用Android系统的API获取北斗导航的相关参数。先去北斗官网逛了一圈,发现并没有针对移动设备开放的api。没关系,条条大路通北京,咱们还…

手机卫星定位系统_70%手机已支持北斗却没感受到?下载个App查证下

提到卫星导航定位系统,大家第一个想到的就是美国的GPS,还有就是欧盟的伽利略、俄罗斯的格洛纳斯,国内也自主发展了北斗卫星系统,目前已经有70%的智能手机都支持了北斗定位。拥有独立自主的卫星导航定位系统意义重大,国…

手机卫星定位系统_为什么手机支持北斗导航,却不知道如何开启?

在十年前或者更早的时候,如果我们去外地找不到什么地方,第一想到的就是问路。问一下附近的人或者找个本地人,让这个人告诉我们想去的地方在哪里,怎么走。但是现在根本不用这样了,因为在我们的手机里面都有导航软件。各…

常见手机定位浅谈

前段时间在知乎上回答了一个关于手机定位相关的问题,被一个知友问到“加一个人微信聊天之后,收到了人家的一个视频,随后也把这个人及他发的视频都删除了,几天后在网吧上网,被别人定位到了,勒索了一笔钱&…

北斗短报文和北斗定位入门篇

北斗通信和北斗定位已经家喻户晓,但是很多初学者和开发工程师往往被各种概念混淆。有鉴于此,北斗海聊整理出本篇入门文档,将常见问题进行系统性梳理。鉴于笔者水平有限,如果本文有什么错漏,请各位读者批评指正。 一、…

android如何增加北斗定位,安卓手机怎么设置北斗导航图文教程

原标题:安卓手机怎么设置北斗导航图文教程 您知道如何在安卓手机上设置北斗导航吗?今天,我们将看看如何将北斗导航支持添加到安卓手机。实际上,该方法非常简单。您只需要添加一个应用程序并打开手机功能定位,即可在安卓…

手机卫星定位系统_真的可以通过手机号码,准确定位对方信息吗?

想了解只知道对方电话号码,如何知道具体位置 首先我们先了解下定位这个概念。 目前常用的定位是GPS、北斗、基站定位。 首先现在定位技术主要依靠卫星定位,目前应用最广泛的就是GPS,正常情况下,在地球表面地点,任何地点都会有6颗gps系统卫星覆盖到你。可以准确的判断到你的…