数据建模.

article/2025/10/21 20:16:51

数据建模

  1. 什么是数据建模
  2. 为什么要进行数据建模
  3. 怎么进行数据建模

1. 为什么要进行数据建模?

提高

  1. 效率/性能: 计算机的的吞吐率,减少I/O的时间,提高用户使用数据的效率。
  2. 开销:减少数据的冗余,从而节省存储空间
  3. 质量:统一数据的口径,减少数据计算错误的可能性。

2. 怎么进行数据建模?

  1. OLTP系统和OLAP系统的区别。

一个是联机事务(业务)处理系统,另一个是联机分析处理系统。两个系统的关注点不一样,所以需要进行不同的数据建模。

业务处理系统,关注事务的一致性,所以主要采用3NF的E-R模型进行存储,从而解决事务的冗余和一致性问题。

联机分析系统,主要关注数据的批量读写的性能,因此需要采用不同的数据建模方法。

  1. 数据库广义的划分为事务处理和决策支持系统,就是对应着上面的两种系统。OLAP和OLTP只是一种手段而已。
  2. 数据仓库的概念:

数据仓库是将从多个数据源中收集来的信息以统一的模式存储在单个站点上的仓库。数据仓库提了一个单独的、统一的数据接口,易于决策支持和查询书写。而且,通过从数据仓库里访问用于支持决策的信息,决策者可以保证在线事务处理不受决策支持负载的影响。

数据仓库需要解决哪些技术问题?

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vCNZXnXT-1647656084734)(D:\blgs\source\imgs\image-20220319095910406.png)]

总结1:从这个角度来说,数据仓库就是决策系统的数据库。区别于事务处理系统的数据库。

总结2: 从这个角度来说,大数据的分析就是为IT系统做决策所使用的系统。数据仓库也就是对应着大数据开发中的第4、5步业务建模,考虑IT系统怎么使用决策系统的输出进行工作。

总结3:数据建模就是为了数据仓库建立而设计模型的过程,或者为事务系统数据库建立设计模型的过程。

  1. 怎么进行数据建模

综上的一些概念,需要对不同种类的系统进行不同的建模分析。根据上面不同系统各自的特点进行不同的模型建立。

3. 经典的数据仓库建模方法论

  1. E-R模型
  2. 维度模型
  3. Data Vault模型
  4. Anchor模型
  5. 阿里巴巴数据模型实践综述

4. 参考文献博客

《数据库系统概念》

大数据实践之数据建模


http://chatgpt.dhexx.cn/article/xVYOTRDu.shtml

相关文章

大数据数据建模

今天给大家分享一下 数据开发工作中数据建模的步骤, 第一步:选择模型或者自定义模型 这第一步需要我们基于业务问题,来决定我们需要选择哪种模型,目前市场中有很多模型可以供我们选择, 比如,如果要预测产…

数据建模

周三保(zhousbcn.ibm.com) IBM 软件部信息技术专家. 简介: 本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型,而是将笔者在数据仓库建设项目中的一些经验,在这里分享给大家。希望帮助大家在数据仓库项目建设中总结出一套能够合…

大数据分析及其建模利用

在数字经济时期,互联网、物联网、5G、大数据、智慧城市等各类模式的信息技术呈爆炸式增长,使得数据以令人难以设想的速度始终增长,企业运营的各个阶段都可以被记载下来,产品销售的各个环节也被记载下来,客户的生产行为…

浅谈大数据建模的主要技术:维度建模

文章目录 前言维度建模关键概念度量和环境事实和维度事实表维度表星形架构和雪花架构 维度建模一般过程1. 选取业务过程2. 定义粒度3. 确定维度4. 确定事实 前言 我们不管是基于 Hadoop 的数据仓库(如 Hive ),还是基于传统 MPP 架构的数据仓…

大数据建模五步法

from:https://www.sohu.com/a/198093510_783844 前一阵子,某网络公司发起了一个什么建模大赛,有个学员问我,数据建模怎么搞? 为了满足他的好学精神,我决定写这一篇文章,来描述一下数据分析必须…

大数据实践之数据建模

随着DT时代互联网、智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。 为什么需要数据建模 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置&#xf…

大数据之数据建模

1.星座模型 星形模型中有一张事实表,以及零个或多个维度表,事实表与维度表通过主键外键相关联,维度表之间没有关联,当所有维表都直接连接到“事实表”上时,整个图解就像星星一样。 星形模型是最简单,也是…

数据模型篇之大数据领域建模综述

第8章 大数据领域建模综述 1.为什么需要数据建模 为了更好的将数据进行有序、有结构地分类组织和存储。数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。 数据建模的好处: 性能:良好的数据模型能帮助我们快…

大数据学习(七)一分钟了解数据建模

何为大数据建模,我们从3个W(什么、为什么、如何)出发来详解下大数据建模。 一、什么是数据建模(what) 数据建模指的是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成…

[数学建模] 大数据建模五步法

目录传送门 概要第一步:选择模型或自定义模式第二步:训练模型第三步:评估模型第四步:应用模型第五步:优化模型最后语 概要 PS: 本文转载自 https://www.sohu.com/a/198093510_783844 本文将尝试来梳理一下数据建模的…

人工智能知识体系大全

知识的搬运工,转从https://blog.csdn.net/j2iayu7y/article/details/79709420 转自:https://blog.csdn.net/wyx100/article/details/80950499

史上最全的人工智能知识图谱

史上最全的人工智能知识图谱 转载于公众号: 数邦客 人工智能知识图谱 1 知识图谱 知识图谱(Knowledge Graph)又称为科学知识图谱,由Google与2012年5月提出,目的是提高搜索引擎的能力,改善用户的搜索质量及搜索体验。随着人工智能…

人工智能之知识表示

人工智能之知识表示 人工智能课程复习笔记专题 人工智能绪论 人工智能之知识表示 人工智能之搜索方法 人工智能之经典逻辑推理 人工智能之专家系统 人工智能之不确定推理方法 人工智能之机器学习 一、知识 知识是人们在改造客观世界的实践活动中积累起来的认识和经验…

新一代人工智能知识体系大全

新一代人工智能知识体系大全,如下图:

人工智能基础知识(一)

目录 1.起源和定义 2.人工智能的流派 2.1 符号主义 2.2 连接主义 2.3 行为主义 3. 知识和知识表示的概念 3.1 知识的特性 3.2 产生表示法 3.3 产生式系统 4. 框架表示法 5. 状态空间表示法 1.起源和定义 如果不做很远的追溯,现代人工智能的起源就非常明…

人工智能知识

启发式搜索 一般需要某些有关具体问题的领域的特性信息,把此种信息叫做启发信息。 需定义一个评价函数,对当前的搜索状态进行评估,找出一个最有希望的节点来扩展。 重排OPEN表,选择最有希望的节点加以扩展 一、A算法 1 2局部择优搜索(瞎子爬山法) …

人工智能知识表达

2.1概述 2.1.1知识及知识的分类 知识是人们在改造客观世界的实践中积累起来的认识和经验。这些经验的描述又需要涉及数据和信息的概念。数据是记录信息的符号,是信息的载体和表示。信息是对数据的解释,是数据在特定场合下的具体含义。信息仅是对客观事…

人工智能的知识表示

文章目录 一、绪论人工智能研究的基本内容人工智能的主要研究领域 二、知识表示知识的概念知识的特性知识的表示1.一阶谓词逻辑表示法1.连接词(连词)2. 量词3.谓词公式4.量词的辖域谓词公式的性质一阶谓词逻辑表示法的特点 2.产生式表示法产生式系统产生…

人工智能知识图谱研究

1、研究背景及意义 随着互联网技术的发展以及大数据、人工智能等新科技时代的来临,我国高校教育改革、高校人才培养也面临着新的机遇与挑战。一方面,为了实现国家战略、支撑快速发展的新经济,需要高校变革发展培养新型人才,满足社…

【人工智能】知识表示

目录 一、知识表示(Knowledge Representation)的基本概念二、谓词逻辑(Predicate Logic)表示法三、产生式(Production Rule)表示法四、语义网络(Semantic Network)表示法五、框架&am…