大数据学习(1)-大数据概述

article/2025/8/19 13:42:18

文章目录

  • 目录
      • 大数据产生背景
      • 大数据概念
      • 大数据影响
      • 大数据应用
      • 大数据关键技术
      • 大数据产业
      • 大数据,云计算,物联网关系
        • 云计算
        • 物联网
        • 大数据,物联网,云计算三者之间联系

目录

大数据产生背景

  1. 三次信息化浪潮

根据IBM前首席执行官郭士纳福观点,每15年IT领域就会迎来一次重大的变革。

在这里插入图片描述
2.大数据产生的技术支撑

数据存储+数据处理+数据传输

  • 存储设备容量的不断增大和价格的不断降低
  • CPU处理能力的大幅度提升
  • 网络带宽的不断增加

3.数据产生方式的变革
在这里插入图片描述
4.大数据发展的三个阶段
在这里插入图片描述

大数据概念

1.大数据:“4V”

volume(大量化),Velocity(快速化) , Variety(数据多样化) , Value less(数据价值密度低)

  • 大量化:大数据的大体现在数据量非常的多。

    大数据摩尔定律:数据一致直以每年50%的增长速率进行增长,每两年涨一倍。

  • 数据多样化:大数据是由结构化数据和非机构化数据组成,其中10%为结构化的数据存储在数据库中,剩下的90%的数据为非结构化的数据,包括文本,图像,语音,视频等。

  • 快速化:处理速度极快,从数据的生成到消耗,时间窗口非常小,可用于生成决策的时间比较短。1S定律。

  • 数据价值密度低:大量数据中只有小部分的数据有极高的价值。

大数据影响

1.科学研究
实验->理论->计算->数据驱动

2.思维

  • 全样非抽样:由于大数据技术发展,可以对全样本进行分析,而不是之前的抽样分析。
  • 效率非精确:大数据时代由于是基于全样本分析,所以不存在从抽样到全样的误差放大问题,所以更加关注的是效率。
  • 相关非因果:大数据时代关注的更多的是物体之间的关联性,而非因果性。

3.社会发展

  • 大数据决策被用于大量的行业

4.就业方面

  • 数据科学行业成为热门行业

5.人才培养

大数据应用

大数据无处不在,包括金融,汽车,零售,餐饮,电信,能源,政务,医疗,体育,娱乐等。
在这里插入图片描述

大数据关键技术

数据分布式存储 + 数据分布式处理

在这里插入图片描述
在这里插入图片描述

目前没有一款大数据产品可以解决所有的大数据问题,所以我们应该根据具体的问题选择合适的大数据产品。

在这里插入图片描述

大数据产业

大数据产业是指一切与支撑大数据组织管理和价值发现先关的企业经济活动

在这里插入图片描述

大数据,云计算,物联网关系

云计算,大数据,物联网三者相辅相成,共同促进。

云计算

1.概念

在这里插入图片描述
在这里插入图片描述
2.关键技术
在这里插入图片描述

3.云计算数据中心
在这里插入图片描述

4.云计算应用

在这里插入图片描述

物联网

1.概念
在这里插入图片描述
2.关键技术
在这里插入图片描述
3.物联网应用

在这里插入图片描述
4.物联网产业
在这里插入图片描述

大数据,物联网,云计算三者之间联系

在这里插入图片描述


http://chatgpt.dhexx.cn/article/Ye8j0XfO.shtml

相关文章

2021年全新大数据学习路线图,(含入门到精通项目学习免费教程哦)

大数据教程,大数据学习,大数据学习路线图, 今天就给大家分享2021年全新的大数据学习教程哦! 2021年黑马程序员全新的大数据学习路线图分享给大家,大家可以按照这个大纲来学习,自学也可哦! 第一…

大数据——学习路线

学习大数据首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。下面是大数据相关的技术 Hadoop 这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDF…

怎样进行大数据的入门级学习?

大数据在刚出来的时候,人们表现的非常乐观,以至于对它持有非常高的期望,和普遍的追捧。 不过只要有数据在,大数据就不会过时。随着上游的数据规模持续增长,大数据在未来一定会扮演重要角色。因此,市场需求…

当我说转行大数据工程师时,众人笑我太疯癫,直到四个月后......

【不要错过文末彩蛋】 申明: 本文旨在为【大数据自学者|大数据专业学生|工资低的程序员(Java/Python等)】提供一个从入门到入职的的大数据技术学习路径,不适合5年以上大数据工程师的进阶学习。 前言: 一、个人介绍 …

网络层协议(6)

文章目录 一、网络层二、网络层的功能三、IP数据包格式1.版本2.头部长度3.服务类型4.包裹总长5.重组标识6.标志7.段偏移量8.生存时间(TTL)9.协议代码10.首部检验和11.源地址12.目的地址13.可选字段14.数据部分 四、其他网络层协议1.ICMP协议2.ARP协议3.R…

网络层的各层协议

网络层的各层协议 目录 一、IP数据包格式 二、Icmp协议介绍 2.1 ICMP协议 2.2 ICMP协议的封装 三.ARP协议介绍 3.1 什么是ARP协议 3.2 ping命令 3.3 TRACERRT命令 3.4ARP协议工作原理 四、ARP攻击原理 一、IP数据包格式 协议字段 IP数据包格式&#xf…

网络层协议------IP协议

这里写目录标题 IP协议基本概念协议头格式网段划分特殊的ip地址私网ip地址和公网ip地址ip地址的数量限制路由 IP协议 IP协议:其实就是TCP/IP协议中对于网络层的一个协议(注意IP协议是TCP/IP协议族中最为核心的协议,因为对于上层的数据&#…

网络协议层

1.osi七层模型以及每层的都是干什么的 七层模型分别为:物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。 物理层的主要功能是:利用传输介质为数据链路层提供物理连接,实现比特流的透明传输。 数据链路层&…

网络协议:网络层传输层

目录 网络层 网络层首部 网络层首部--总长度 网络层首部--标识、标志 网络层首部--片偏移 网络层首部--生存时间 ping的几个用法 传输层 UDP UDP--数据格式 UDP--检验和(Checksum) 端口 网络层 网络层数据包(IP数据包,Pac…

第四讲:网络层协议

文章目录 一、网络层功能二、IP数据包的格式1、IP数据包格式2、各字段说明 三、ICMP协议1、ICMP封装与格式2、ping命令2.1 ping命令的各种用法 四、ARP协议1、什么是ARP协议?2、ARP协议是如何工作的?3、ARP工作原理4、windows当中如何查看ARP缓存表5、AR…

网络层协议的介绍

目录 ICMP协议(Internet控制报文协议) 网络层的功能 *定义了基于IP协议的逻辑地址 *连接不同的媒介类型 *选择数据通过网络的最佳路径 总体结构 IP数据包格式ICMP协议介绍ARP协议介绍ARP攻击原理 1,IP数据包格式 协议字段 版本&…

网络层协议

网络层有四个协议:ARP协议,IP协议,ICMP协议,IGMP协议。 ARP协议为IP协议提供服务,IP协议为ICMP协议提供服务,ICMP协议为IGMP协 议提供服务。 ARP协议:将IP地址通过广播,目标Mac地址是FF-FF-FF…解析目标IP地址的Mac 地址。(局域网中)通过arp -a可以查看Mac地址。…

详解网络层协议(ICMP,ARP)

目录 1、网络层功能: 2、IP数据包格式: 3、ICMP协议: 4、请求超时和目标主机不可达的区别: 5、ICMP协议的封装: 6、ping 命令的使用: 7、ARP协议: 8、ARP工作原理: 9、ARP欺骗&a…

网络层的协议介绍

文章目录 IP数据包格式ICMP协议(Internet控制报文协议)ARP协议概述ARP攻击原理本章总结 IP数据包格式 协议字段 IP数据包格式(分为20字节的固定部分,表示每个IP数据包必须包含的部分,和40字节的可变长部分&#xff…

4、网络层协议

目录 IP协议 IPV4 IPv6 ARP协议 IGMP协议 ICMP协议 路由协议 OSPF协议 RIP协议 BGP协议(边界网关) IP协议 网络层的IP协议是构成Internet的基础。网络上每一个节点都必须有一个独立的Internet地址(IP地址)。每个计算机…

【网络】网络层协议——IP

目录 网络层IP协议IP基础知识IP地址IP报头格式网段划分CIDR 特殊的IP地址IP地址的数量限制私有IP地址和公有IP地址 路由IP总结 网络层 在复杂的网络环境中确定一个合法的路径。 IP协议 IP协议作为整个TCP/IP中至关重要的协议,主要负责将数据包发送给最终的目标计…

网络层协议 IP

目录 IP协议 基本概念 协议头格式(重要) 分片了如何组装: 那么判断是否片偏移就是: 分片对UDP和TCP有影响吗? 总结 网段划分(重要) 下面有两个例子: 特殊的IP地址 …

网络层协议协议介绍

网络层协议协议介绍 文章目录 网络层协议协议介绍一、网络层的功能二、IP数据包的格式三、ICMP协议(internet控制报文协议)3.1icmp协议3.2ICMP协议的封装3.3 Ping命令的用法 四、ARP协议介绍4.1什么是ARP协议4.2ARP协议的作用4.3ARP工作原理 一、网络层的功能 1、定义了基于IP…

IP 协议(网络层协议)

IP协议 IP 协议作用地址管理动态分配 IP 地址NAT 机制IPv6IP 地址的组成 路由选择 IP 协议作用 主要有两点 : 地址管理 为每个上网的设备分配一个唯一地址. 路由选择 两台主机间的信息交互, 具体走哪条线路. 地址管理 先来看看 IP协议 报文格式 : IP 协议最主要就是 32 位的…

网络层协议总结

网络层,说简单点,就是在复杂的网络环境中确定一个合适的路径。 有四个协议:ARP协议,IP协议,ICMP协议,IGMP协议。 IP协议 1、概念(协议内容即设定ip地址,实现数据传输) I…