大数据架构与技术——（一）大数据概述

article/2025/9/12 1:36:36

文章目录

    • 1.1 大数据时代
      • 1.1.1第三次信息化浪潮
      • 1.1.2信息科技为大数据时代提供技术支撑
      • 1.1.3数据产生方式的变革促成大数据时代的来临
      • 1.1.4 大数据的发展历程
    • 1.2 大数据概念
      • 1.2.1 数据量大
      • 1.2.2 数据类型繁多
      • 1.2.3 处理速度快
    • 1.3 大数据的影响
    • 1.4 大数据的应用
    • 1.5 大数据关键技术
    • 1.6 大数据计算模式
    • 1.7 大数据产业
    • 1.8 大数据与云计算、物联网的关系
      • 1.8.1云计算
      • 1.8.2物联网

1.1 大数据时代

1.1.1第三次信息化浪潮

根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革
在这里插入图片描述

  • 1981年8月12日IBM公司推出了第一台个人计算机IBM PC5150
  • IBM5150型电脑每台重约11．34公斤，仅键盘就重约2．7公斤；配置了16位、4.77MHz 的Intel 8088微处理器、16KB（最多可扩展至 256KB）的
    内存。
  • 可以使用盒式录音磁带来下载和存储数据，此外也可配备5.25英寸的软盘驱动器；安装了微软公司的磁盘操作系统（X86-DOS）、电子表格软件Visicale和文本输入软件Easywriter。
  • IBM是计算机界的领导者，因为它的logo是蓝色的，所以也被叫做“蓝色巨人”。
  • 1981年，IBM个人电脑问世，一上市就大受欢迎，占领了3/4的个人电脑市场。IBM错误的认为个人电脑赚钱的部分是几千块钱的硬件，而不是几十块钱的软件。为了快速推出个人电脑，IBM来不及自己开发操作系统，于是向其他公司招标。
  • 这时候比尔盖茨看到了机会，他把操作系统卖给了IBM。但是聪明的比尔盖茨没有让IBM买断操作系统，而是从每台IBM个人电脑中收一笔不太起眼的版权费。
  • 比尔盖茨一边和IBM合作，一边下大力气开发新的操作系统（Windows），Windows一经推出，微软帝国也就形成了。
  • 1994年4月20日，第一条64K国际专线接入中国，这对于中国的互联网来说是一个值得纪念的事件，因为这是中国开始以一个国家的身份进入国际互联网。
  • 在1995年，北京和上海的64K的国际专线开通之后，中国全功能接入国际互联网。

1.1.2信息科技为大数据时代提供技术支撑

在这里插入图片描述

  1. 存储设备容量不断增加
    在这里插入图片描述
  2. CPU处理能力大幅提升
    在这里插入图片描述
  3. 网络带宽不断增加
    在这里插入图片描述

1.1.3数据产生方式的变革促成大数据时代的来临

在这里插入图片描述

1.1.4 大数据的发展历程

在这里插入图片描述

1.2 大数据概念

1.2.1 数据量大

  • 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）
  • 人类在最近两年产生的数据量相当于之前产生的全部数据量
  • 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍 PB EB ZB

1.2.2 数据类型繁多

  • 大数据是由结构化和非结构化数据组成的
    • 10%的结构化数据，存储在
      数据库中
    • 90%的非结构化数据，它们
      与人类信息密切相关

在这里插入图片描述
在这里插入图片描述

1.2.3 处理速度快

  • 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少
  • 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同

1.3 大数据的影响

1998年，图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自
古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式

大数据时代对人类思维方式产生非常大的影响

  • 第一方面的影响
    在这里插入图片描述
    大数据时代之后：
    在这里插入图片描述
  • 第2方面的影响在这里插入图片描述
  • 第3方面的影响
    在这里插入图片描述

1.4 大数据的应用

大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹
在这里插入图片描述

1.5 大数据关键技术

在这里插入图片描述
最核心为：数据存储与管理、数据处理与分析

大数据技术的两大核心技术：

  • 分布式存储：解决海量数据的存储问题
  • 分布式处理：解决海量数据的处理问题

在这里插入图片描述

1.6 大数据计算模式

  • 第1种大数据计算模型：批处理计算
    在这里插入图片描述

  • 第2种大数据计算模型：流计算
    在这里插入图片描述

  • 第3种大数据计算模型：图计算
    在这里插入图片描述
    在这里插入图片描述

  • 第4种大数据计算模型：查询分析计算
    在这里插入图片描述

大数据计算模式及其代表产品：
在这里插入图片描述

1.7 大数据产业

大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合
在这里插入图片描述

1.8 大数据与云计算、物联网的关系

在这里插入图片描述

1.8.1云计算

云计算解决了海量数据的分布式存储和分布式处理问题

  • 云计算典型特征
    • 虚拟化
    • 多租户
  • 云计算的概念：云计算是通过网络以服务的方式为用户提供非常廉价的IT资源
  • 云计算的优势：企业不需要自建IT基础设施，可以租用云端资源
  • 云计算三种模式：
    • 公有云：百度云——面向所有公众
    • 混合云：部分给自己、部分给外面
    • 私有云 ：中国移动、中国电信——面向企业内部
      在这里插入图片描述
  • 云计算关键技术
    • 虚拟化
    • 分布式存储
    • 分布式计算
    • 多租户
  • 云计算数据中心
    • 数据中心是云计算的温床
    • 各种数据和应用，并非在“天上云端”，而是位于各地的数据中心里
    • 数据中心包含大量刀片服务器，刀片服务器是一种紧凑的独立服务器，每个刀片服务器都有自己的CPU、内存和存储。
    • 数据中心能耗非常大

1.8.2物联网

物联网是物物相连的互联网，是互联网的延伸

  • 物联网层次架构：
    在这里插入图片描述

  • 物联网关键技术

    • 识别技术
    • 感知技术

  • 物联网应用
    物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用
    在这里插入图片描述

  • 云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系
    在这里插入图片描述


http://chatgpt.dhexx.cn/article/Nt7Oj43l.shtml

相关文章

什么是大数据架构

什么是大数据架构

什么是大数据架构 大数据架构是用于摄取和处理大量数据(通常称为“大数据”)的总体系统，因此可以针对业务目的进行分析。该架构可视为基于组织业务需求的大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作： 　　批量处理大数据源。 实时处理大…
阅读更多...
Pipeline大数据架构

Pipeline大数据架构

1.Pipeline大数据架构 （create by 王小雷） Pipeline大数据架构，面向大数据仓库和大数据处理平台。是基于lambda的大数据架构的变种，增加了企业级服务，而并非只是大数据组件的对切，是一种更落地的方案。 如…
阅读更多...
大数据架构之--Kappa架构

大数据架构之--Kappa架构

一、什么是Kappa架构 Kappa 架构是由 LinkedIn 的前首席工程师杰伊克雷普斯（Jay Kreps）提出的一种架构思想。克雷普斯是几个著名开源项目（包括 Apache Kafka 和 Apache Samza 这样的流处理系统）的作者之一。 Kreps 提出了一个改…
阅读更多...
大数据架构及技术体系

大数据架构及技术体系

下面是大数据体系架构图 大数据分2个部分，一部分是走实时的，另外一部分是走离线的，不管那块都需要数据来分析 从上图来看，数据分为结构化数据（MYSQL,ORACLE等），半结构数据（文件日志…
阅读更多...
大数据架构演进

大数据架构演进

1、数仓架构演变（场景驱动） 1.1 经典数仓架构 数据仓库概念是Inmon于1990年提出并给出了完整的建设方法 1.2 离线大数据架构 随着互联网时代来临，数据量暴增，开始使用大数据工具来代替经典数仓中的传统工具 此时仅仅是工具的…
阅读更多...
大数据架构（一）背景和概念

大数据架构（一）背景和概念

-系列目录- 大数据架构(一)背景和概念 大数据架构(二)大数据发展史 一、背景 1.岗位现状 大数据在一线互联网已经爆发了好多年，2015年-2020年(国内互联网爆发期)那时候的大数据开发，刚毕业能写Hive SQL配置个离线任务、整个帆软报表都20K起步。如果做到架…
阅读更多...
大数据架构

大数据架构

大数据核心原理和场景分析 processon：https://www.processon.com/view/link/60b4d0071e08532bd00e9290
阅读更多...
大数据架构图

大数据架构图

大数据管理数据处理过程图 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、…
阅读更多...
大数据架构：全网最全大数据架构生态

大数据架构：全网最全大数据架构生态

文章目录 简介1、数据采集技术框架2、数据存储技术框架3、分布式资源管理框架4、数据计算框架（1）离线数据计算 5、数据分析技术框架6、任务调度技术框架7、大数据底层基础技术框架8、数据检索技术框架9、大数据集群安装管理框架 简介 随着大数据行业的发…
阅读更多...
架构-大数据架构-阿里

架构-大数据架构-阿里

大数据架构 大数据框架从0到1整个过程的实现，根据本博客内容，可以实现整个大数据基本搭建，只是大概步骤，供学习参考。 本博客从下面5个方面介绍： 技术框架技术选型系统架构设计业务流程生态实现步骤 以阿里为例的大数…
阅读更多...
大数据架构新解

大数据架构新解

大数据系统大体可以分成以下四个部分： 1，数据采集层 2，数据计算层 3，数据服务层 4，数据应用层 下图是阿里巴巴大数据系统架构图： 一、数据采集层 数据采集主要分成以下三块数据： 1&#xff…
阅读更多...
大数据技术及大数据架构

大数据技术及大数据架构

大数据架构分为：数据来源层->数据采集层->分布式存储层->传输层->分析计算层->业务存储层->展示层共七层，基本使用flume sqoop hive hadoop spark flink mysql redis logstash elasticsearch datax等技术
阅读更多...
大数据基础课03 阿里美团这些大厂都在用什么大数据架构？

大数据基础课03 阿里美团这些大厂都在用什么大数据架构？

首先，我想讲一个叫庖丁解牛的故事，想必你应该听过。庖丁从开始杀牛，到他的故事被写下，操刀十九年，杀了数千头牛。也正是由于丰富的实践经验，他总结出了解杀牛的方法论：依照牛生理上的天然结构&a…
阅读更多...
大数据架构演变

大数据架构演变

大数据架构演变 一、传统离线大数据架构二、Lambda架构（离线处理实时链路）-传统实时开发三、Lambda架构（离线数仓实时数仓）四、Kappa架构五、架构选择：六、湖仓一体（流批一体）实时数仓架构七、从…
阅读更多...
大数据基础架构

大数据基础架构

一、大数据两大核心技术： 分布式存储：HDFS、HBase、NoSQL、NewSQL 分布式处理：MapReduce 二、大数据计算模式： 三、代表性大数据技术： 1.Hadoop：ETL工具（extract、transform、load&#xff0…
阅读更多...
大数据架构简介

大数据架构简介

大数据技术其实是分布式技术在数据处理领域的创新性应用，其本质和此前讲到的分布式技术思路一脉相承，即用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。 大数据技术讨论的是，如何利用更多…
阅读更多...
大数据之大数据技术架构

大数据之大数据技术架构

上期我们说到大数据的概念，其实，大数据比我们想象中的还要复杂，本期，我们主要从技术的角度介绍一下大数据的知识。 大数据技术是一系列技术的总称，它是集合了数据采集与传输、数据存储、数据处理与分析、数据挖掘、数据…
阅读更多...
常用的几种大数据架构剖析

常用的几种大数据架构剖析

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大…
阅读更多...
一张图解释清楚大数据技术架构，堪称阿里的核心机密

一张图解释清楚大数据技术架构，堪称阿里的核心机密

我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多： 从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有…
阅读更多...
MATLAB的四种取整方法

MATLAB的四种取整方法

阅读更多...
推荐文章

Copyright @ 2022~2023