云计算的概念及关键技术

article/2025/8/28 0:22:48

1、云计算的概念

1.1概念

云计算是一种通过互联网访问、可定制的IT资源共享池,并按照使用量付费的模式,这些资源包括网络,服务器,存储、应用、服务等。广泛意义上
来说, 云计算是指服务的交付和使用模式,即通过网络以按需,易扩展的方式获取所需的资源,这种服务可以是IT的基础设施(硬件、软件、平台),
也可以是其他服务,云计算的核心理念就是按需服务,就像人使用水、电、天然气等资源一样。


1.2关键技术

云计算的关键技术有: 虚拟化分布式文件系统分布式数据库资源管理技术、能耗管理技术。

虚拟化:虚拟化是实现云计算重要的技术设施,是在通过物理主机中同时运行多个虚拟机实现虚拟化,在这个虚拟化平台上,实现对多个虚拟机操作系统的监视和多个虚拟
机对物理资源的共享;

分布式文件系统:指在文件系统基础上发展而来的云存储分布式系统,可用于大规模的集群,主要特点:

1、高可靠性:云存储系统支持多个节点间保存多个数据副本的功能,以提供数据的可靠性;‘’

2、高访问性:根据数据的重要性和访问频率将数据分级多副本存储、热点数据并行读写,提高访问;

3、在线迁移、复制:存储节点支持在线迁移,复制、扩容不影响上层应用;

4、自动负载均衡:可以根据当前系统的负荷,将原有节点上的数据迁移到新增的节点上,特有的分片存储,以快为最小单位来存储,存储和查询时所有的存储节点并行计算;

5、元数据和数据分离:采用元数据和数据分离的存储方式设计分布式文件系统。

分布式数据库:能实现动态负载均衡、故障节点自动接管、具有高可靠性,高可用性、高可扩展性;

资源管理技术:

云系统为开发商和用户提供了简单通用的接口,使得开发商将注意力更多低集中在软件本身,而无需考虑到底层架构,云系统一句用户的资源获取请求,动态分配计算资源;

能耗管理技术:

云计算基础设施中包括数以万计的计算机,如何有效低整合资源、降低运行成本,节省运行计算机所需的能源成为一个关注的问题

二、hadoop生态

在云计算这一块,hadoop算做的比较不错,hadoop平台的基本框图和生态系统如下所示:

说明:
1、MapReduce:是一个并行化计算框架,提供了map和reduce两阶段的并行处理模型和过程,mapreduce以键值对的数据输入方式来处理数据,并能自动完成数据的划分和调度管理;
2、分布式文件系统(HDFS):基于物理上分布在各个数据存储节点的本地Linux系统的文件系统,为上次提供一个逻辑上成为整体的大规模数据存储系统;
3、分布式数据库管理系统(HBASE):克服了难以管理结构化/半结构化海量数据的缺点,提供了一个大规模分布式的,建立在HDFS之上的分布式数据库管理系统,Hbase提供了基于行,列和时间戳的三维数据管理模型;
4、公共服务模块(Common):为hadoop提供支撑服务和常用的工具类库以及api编程接口,服务包括:抽象文件系统fileSystem、远程过程调用(RPC),系统配置工具以及序列化机制;
5、数据序列化(Avro):用于将数据结构和数据对象转变成数据存储和网络传输的格式;
6、分布式协调服务(Zookeeper):主要用户提供分布式应用经常需要的系统可靠性维护,数据状态同步、统一命名服务,分布式应用配置等管理功能;
7、分布式数据仓库处理工具(Hive):用于管理存在HDFS和hbase中的结构化/半结构化的数据。
8、数据流处理工具(Pig):用来处理大规模数据集平台,程序员可以使用它将复杂的数据分析任务实现为pig操作上的数据流脚本,这些脚本最终执行时将被系统自动转为mapreduce任务链,在hadoop上执行;
9、键值对数据库(Cassandro):是一个键值对数据库;
10、关系数据交换工具(Sqoop):可以将一个关系型数据库中的数据批量导入hadoop的HDFS,HBASE、Hive中,也可以反过来将数据导入关系型数据中。
11、日志数据收集工具(Flume):它将数据从生产、传输、处理、输出的过程抽象为数据流,并允许在数据源中定义数据发送方,从而支持基于各种不同传输协议的数据,同时也支持对数据的过滤,格转等能力。


http://chatgpt.dhexx.cn/article/G4C4ikNo.shtml

相关文章

云计算 概念与技术

如果我倡导的计算机在未来得到使用,那么有一天,计算也可能像电话一样成为共用设施。计算机应用将成为一全新的、重要的产业的基础。 ——John McCarthy 云计算的概念 定义 Garther公司的定义 一种计算方式,能通过Internet技术将可扩展的和…

云计算的概念和价值

云计算的概念: 云计算(cloud computing)是一种按是使用量付费的模式,这种模式是可用的、便捷的、按需的网络访问,进入可配置的计算机资源共享池(资源包括网络,服务器,存储,应用软件&#xff0c…

什么是云计算?云计算概念集合

云计算的3种服务模式 IaaS(基础设施服务):提供给客户的服务是运营商运行在云计算基础设施上的应用程序,用户可以在各种设备上通过客户端界面访问,如浏览器。消费者不需要管理或控制任何云计算基础设施,包括…

云计算的概念

1、云计算概念 云是网络、互联网的一种比喻说法。过去在图像中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。 云计算(Cloud Computing)是以虚拟化技术为核心,以低成本为目标的,基于互联网服务的…

第一讲:云计算的概念

云计算(cloud computing)是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。 云其实是网络、互联网的一种比喻说法。云计算有狭义云计算和广义云计算两种概念: 1.狭义…

云计算概念详解

1.云计算的定义: (1)云计算是一种能够通过网络以便利的按需的方式获取云计算资源(网络,服务器,存储,应用和服务)的模式 (2)这些资源来自一个共享的,可配置的资源池,并能够快速获取和释放,提供资…

微服务系统中服务降级

# 服务降级说明 - 服务压力剧增的时候根据当前的业务情况及流量对一些服务和页面有策略的降级,以此缓解服务器的压力,以保证核心任务的进行。同时保证部分甚至大部分任务客户能得到正确的响应。也就是当前的请求处理不了了或者出错了,给一个默…

系统降级-接口级别

导致接口级故障的原因 内部原因 程序bug导致死循环某个接口导致数据库慢查询程序逻辑不完善导致耗尽内存等 外部原因 黑客攻击、促销或者抢购引入了超出平时几倍甚至几十倍的用户第三方系统大量请求第三方系统响应缓慢等 解决接口故障的核心思想 优先保证核心业务和优先保…

Dubbo服务降级

dubbo降级服务 使用dubbo在进行服务调用时,可能由于各种原因(服务器宕机/网络超时/并发数太高等),调用中就会出现RpcException,调用失败。 服务降级就是指在由于非业务异常导致的服务不可用时(上面举得例…

降级限流

目录 1、限流和降级 1.1、降级 1.2、限流 2、限流算法 2.1、滑动窗口 2.2、漏桶 2.3、令牌桶 3、限流实践 3.1、单机Guava实现令牌桶和漏桶 3.2、分布式限流器实现 3.2.1、Redis实现 3.2.2、lua脚本实现 3.2.3、Redission的实现 4、小结 前言 对于高可用的服务,除了…

服务降级设计

实际系统运维中会出现某点的流量高峰,该时间有些可以预计,如双十一,有些不能预计,如某明星大爆料 等等,那么对着此类情况加设备等不能满足要求或者不能立刻满足邀请的时候,就需要对服务进行降级操作。

mysql数据库自动降级_mysql降级caveats

在线QQ客服:1922638 专业的SQL Server、MySQL数据库同步软件 在此博客中,我们将讨论在MySQL降级期间需要注意的事项。 之前,我曾写过博客MySQL升级最佳实践。除了升级MySQL版本外,有时还需要降级。在降级MySQL时,支持两种降级方法: 就地降级:在这种方法中,您使用现有的数…

Dubbo使用之服务降级

什么是服务降级 降级的目的是为了保证核心服务可用。 降级可以有几个层面的分类: 自动降级和人工降级; 按照功能可以分为:读服务降级和写服务降级 对一些非核心服务进行人工降级,在大促之前通过降级开关关闭哪些推荐内容、评价…

伪代码格式和标准

目录 注意算法组成部分算法示例 注意 每一条指令占一行(else if例外),指令后不跟任何符号(Pascal和C中语句要以分号结尾)每一行要标号开头描述输入,输出变量名和保留字不区分大小写,Pascal相同,C或C不同数…

LaTeX伪代码写法总结

1. 伪代码所用包 一般会接触到的包有algorithm、algorithmic、algorithmicx、algorithm2e这四种包。 algorithm用于给伪代码提供一个浮动体环境,防止其换页或其他因素导致的内容中断,从而跨页显示。 algorithmic用于编辑伪代码的内容,一些…

伪码-伪代码的定义以及实现

伪代码的写法 伪代码(Pseudocode)是一种算法描述语言。使用伪代码的目的是为了使被描述的算法可以容易地以任何一种编程语言(Pascal,C,Java,etc)实现。因此,伪代码必须结构清晰、代码简单、可读性好,并且类似自然语言…

伪代码教程

伪代码教程 起一篇伪代码基础教程 伪代码(Pseudo code)是一种介于计算机语言和自然语言间的文字和符号,是表达算法的简单而有效的方法。伪代码不需要关注底层是如何实现的,本身就是算法框架的逻辑模型。 一、赋值语句 赋值号 A ← B A\leftarrow B A←…

伪代码怎么编写?

20230522 补充一下: 建议学习PUML的语法,这个和伪代码很相似,也可以看到业务流程图 问 根据IDEA项目代码生成伪代码的工具 答 目前没有根据IDEA项目代码自动生成伪代码的工具。伪代码是一种描述程序算法的语言,通常不是具体的编…

【笔记】伪代码编写

在线LaTeX编写工具overleaf极大的方便了暂时需要为论文编写伪代码的需要:Overleaf, Online LaTeX Editor 该工具只需要简单注册就可以使用。 首先进入overleaf主页,然后完成注册和登录: 接着,需要创建用于储存LaTeX的文件夹&…

伪代码与代码区别

伪码(Pseudocode)是一种算法描述语言。使用伪码的目的是使被描述的算法可以容易地以任何一种编程语言(Pascal,C,Java等)实现。因此,伪代码必须结构清晰、代码简单、可读性好,并且类似…