大数据学习(七)一分钟了解数据建模

article/2025/10/22 5:11:35

何为大数据建模,我们从3个W(什么、为什么、如何)出发来详解下大数据建模。

一、什么是数据建模(what)

数据建模指的是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。(个人认为,数据建模就是将现实数据关系、类别按照一套完整的方法论有映射到数据仓库里,将数据有序的、结构化存储在数据仓库里面)

二、为什么要进行数据建模(why)

性能:我们可以更快地查询到想要的数据,减少数据的I/O吞吐

成本:减少数据冗余,减低数据存储成本

效率:用户可以快速查询到想要的数据,提高效率

质量:口径变得统一。

三、如何进行数据建模(how)

1.ER建模

将事务抽象为"实体"(Entity)、"属性"(Property)、"关系"(Relationship)来表示数据关联和事物描述。

ER实例:

一个学生可选修多门课,一门课有若干学生选修;
一个教师可讲授多门课,一门课只有一个教师讲授;
一个学生选修一门课,仅有一个成绩。

2.维度建模

维度建模以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,因此它重点解决用户如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应性能。

这么说可能比较抽象,我们可以从三方面来了解维度建模

一、维度建模的基本元素

a.事实表

事实表中的每一行数据都代表一个真实的业务事件,比如下单、支付等

b.维表

对事实的一些描述,比如时间、城市等

场景:现在有负责某华东片区手机销售的业务领导,希望可以看下销售情况。

1.按照城市维度,华东片区下面每个城市的总销售额

2.按照城市+业务员,看华东片区下面的每个城市每个业务员的总销售额

3.按照城市+业务员+时间,对比当月和上月华东片区下面的每个城市每个业务员的总销售额和进行环比。

也就是说 可以通过不同的维度组合来分析事实。

二、维度建模常见模型

a.星座模型

b.雪花模型 

c.星型模型

三、维度建模基本步骤

a.选择业务过程

b.声明粒度

c.确认维度

d.确认事实


http://chatgpt.dhexx.cn/article/HpWKFUTk.shtml

相关文章

[数学建模] 大数据建模五步法

目录传送门 概要第一步:选择模型或自定义模式第二步:训练模型第三步:评估模型第四步:应用模型第五步:优化模型最后语 概要 PS: 本文转载自 https://www.sohu.com/a/198093510_783844 本文将尝试来梳理一下数据建模的…

人工智能知识体系大全

知识的搬运工,转从https://blog.csdn.net/j2iayu7y/article/details/79709420 转自:https://blog.csdn.net/wyx100/article/details/80950499

史上最全的人工智能知识图谱

史上最全的人工智能知识图谱 转载于公众号: 数邦客 人工智能知识图谱 1 知识图谱 知识图谱(Knowledge Graph)又称为科学知识图谱,由Google与2012年5月提出,目的是提高搜索引擎的能力,改善用户的搜索质量及搜索体验。随着人工智能…

人工智能之知识表示

人工智能之知识表示 人工智能课程复习笔记专题 人工智能绪论 人工智能之知识表示 人工智能之搜索方法 人工智能之经典逻辑推理 人工智能之专家系统 人工智能之不确定推理方法 人工智能之机器学习 一、知识 知识是人们在改造客观世界的实践活动中积累起来的认识和经验…

新一代人工智能知识体系大全

新一代人工智能知识体系大全,如下图:

人工智能基础知识(一)

目录 1.起源和定义 2.人工智能的流派 2.1 符号主义 2.2 连接主义 2.3 行为主义 3. 知识和知识表示的概念 3.1 知识的特性 3.2 产生表示法 3.3 产生式系统 4. 框架表示法 5. 状态空间表示法 1.起源和定义 如果不做很远的追溯,现代人工智能的起源就非常明…

人工智能知识

启发式搜索 一般需要某些有关具体问题的领域的特性信息,把此种信息叫做启发信息。 需定义一个评价函数,对当前的搜索状态进行评估,找出一个最有希望的节点来扩展。 重排OPEN表,选择最有希望的节点加以扩展 一、A算法 1 2局部择优搜索(瞎子爬山法) …

人工智能知识表达

2.1概述 2.1.1知识及知识的分类 知识是人们在改造客观世界的实践中积累起来的认识和经验。这些经验的描述又需要涉及数据和信息的概念。数据是记录信息的符号,是信息的载体和表示。信息是对数据的解释,是数据在特定场合下的具体含义。信息仅是对客观事…

人工智能的知识表示

文章目录 一、绪论人工智能研究的基本内容人工智能的主要研究领域 二、知识表示知识的概念知识的特性知识的表示1.一阶谓词逻辑表示法1.连接词(连词)2. 量词3.谓词公式4.量词的辖域谓词公式的性质一阶谓词逻辑表示法的特点 2.产生式表示法产生式系统产生…

人工智能知识图谱研究

1、研究背景及意义 随着互联网技术的发展以及大数据、人工智能等新科技时代的来临,我国高校教育改革、高校人才培养也面临着新的机遇与挑战。一方面,为了实现国家战略、支撑快速发展的新经济,需要高校变革发展培养新型人才,满足社…

【人工智能】知识表示

目录 一、知识表示(Knowledge Representation)的基本概念二、谓词逻辑(Predicate Logic)表示法三、产生式(Production Rule)表示法四、语义网络(Semantic Network)表示法五、框架&am…

人工智能之知识图谱

人工智能之知识图谱 知识图谱(knowledge graph )是人工智能领域的重要分支技术,概念最初由谷歌于2012年提出,成为创建大规模知识应用的必要技术,在自然语言处理,电子商务,搜索,智能…

一张图看懂新一代人工智能知识体系

关于人工智能的前世今生、内涵意义,下图可以说是相当清楚全面了。人工智能是未来一大热点,连腾讯、阿里、百度这些科技公司都各自成立了人工智能实验室,如果你也看好这一趋势,不妨把这张图收藏起来慢慢看。 来源:智能…

【人工智能】知识图谱

文章目录 一、知识图谱的概况二、知识图谱的基本概念三、知识图谱构建技术四、知识图谱主要应用 一、知识图谱的概况 知识(Knowledge):合理性(Justified)、真实性(True)、被相信(Be…

人工智能知识图谱

1 知识图谱 知识图谱(Knowledge Graph)又称为科学知识图谱,由Google与2012年5月提出,目的是提高搜索引擎的能力,改善用户的搜索质量及搜索体验。随着人工智能技术的发展和应用,知识图谱逐渐成为关键技术之一,现已被广…

人工智能之知识图谱概述(一)

文章目录 碎碎念第一章 概念一、知识图谱概念和分类1、知识图谱的概念2、知识图谱的分类 二、知识工程发展历程三、知识图谱的知识图谱 第二章 技术人才篇1、知识表示与建模(1)知识表示模型(2)知识表示学习(3&#xff…

人工智能基础知识

📢博客主页:盾山狂热粉的博客_CSDN博客-C、C语言,机器视觉领域博主📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!📢努力努力再努力嗷~~~✨ 💡本次给大家分享的是什么是人工智能&a…

人工智能 —— 知识图谱

引言 初学者刚开始学习人工智能时,面对铺天盖地的概念,如,人工智能、机器学习、深度学习、计算机视觉等等,一时间可能就被这些“高深”的名称给唬住了,不知道如何下手。 又或者有些同学在学习了很长时间后&#xff0c…

人工智能知识体系

阶段一、人工智能基础 - 高等数学必知必会 本阶段主要从数据分析、概率论和线性代数及矩阵和凸优化这四大块讲解基础,旨在训练大家逻辑能力,分析能力。拥有良好的数学基础,有利于大家在后续课程的学习中更好的理解机器学习和深度…

一图看懂| 人工智能知识体系大全

今天的文章比较特别,是的,如题,就是只有图,N张图带你看懂新一代人工智能知识体系大全!准备好了吗?Lets go! 不知道你看完之后是否对人工智能有一定的了解了呢?人工智能细分的范畴比我…