Hadoop集群简介

article/2025/8/28 12:41:59

Hadoop集群整体概述:

Hadoop集群包括两个集群:HDFS集群、YARN集群
两个集群逻辑上分离(两个集群互相之间没有依赖、互不影响)、通常物理上在一起(某些角色进程往往部署在同一台物理服务器上)
两个集群都是标准的主从架构集群
在这里插入图片描述
在这里插入图片描述

MapReduce算是集群吗?

MapReduce:是计算框架、代码层面的组件没有集群之说

HDFS架构概述

1)NameNode(nn):存储文件的无数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限,以及每个文件的块列表和块所在的DataNode等。
2)DataNode(dn):在本地文件系统存储文件块数据以及块数据的校验和
3)Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份

YARN架构概述

在这里插入图片描述

MapReduce架构概述

1)Map阶段并行处理输入数据
2)Reduce阶段对Map结果进行汇总

HDFS、YARN、MapReduce三者关系

在这里插入图片描述

大数据技术生态体系

在这里插入图片描述

推荐系统项目框架

在这里插入图片描述


http://chatgpt.dhexx.cn/article/mtORLDkS.shtml

相关文章

hadoop集群

一、概念 Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统,类似mogilefs,但又不同于mogilefs,hdfs由存放文件元数…

Hadoop入门详解以及Hadoop集群搭建

一、Hadoop概念 hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。hadoop充分利用了集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Distributed File System&#xff…

把Redis 设置成服务

设置Redis服务 上面虽然安装启动了Redis,但是一旦关闭cmd窗口,redis就关闭了,为了我们日后开发测试的便利,我们当然要把它设置成windows服务项。 打开cmd命令窗口,切换到Redis目录,输入如下命令: redis-…

配置redis,对外服务

前言 在服务器安装完redis之后,别的机器想要通过IP和端口连接Redis服务器是连接不上的,因此需要配置redis对外服务。 一、打开redis配置文件 vi /etc/redis/redis.conf二、修改bind绑定的地址 三、关闭保护模式 四、重启redis服务 service redis res…

Redis 服务监控

Redis现在在很多公司中应用已经很广泛了,但是如何监控redis,实时的观察redis的性能,下面就关于Redis的常用监控介绍一下。 一、使用redis自带的info命令和monitor命令 现在常见的监控方案基本上都是使用redis自带的info命令和monitor命令获取…

Windows下将Redis设置为服务

如果下载的是免安装的 Redis ,解压文件后运行 Redis-server.exe就可开启服务 但是,这个窗口不能关闭,否则服务也会随之关闭,过于麻烦,也不方便操作 所以,我们可以将 redis 设置为一种服务,可利…

【Windows】Redis集群部署

集群是如何进行工作的 Redis采用哈希槽来处理数据与节点之间的映射关系,一个集群共有16384 个哈希槽,每个key通过 CRC16算法计算出一个16bit的值,再对16384取模,得到对应的哈希槽,集群通过维护哈希槽与节点的关系来得…

redis设置服务

设置服务 可以看到如果我们启动redis服务的话,每次都要进入到安装目录,这样是不是很繁琐,所以我们将redis做成一个服务,我们直接启动。 首先将utils/redis_init_script文件复制到/etc/init.d下,同时易名为redis。执行命…

Redis 服务管理

对Redis服务器的管理可以使用redis提供的服务命令,也可以借助一些管理软件,如:phpRedisAdmin 一、Redis服务器命令主要是用于管理redis服务 1.bgrewriteaof 异步执行一个 aof(appendonly file) 文件重写操作 2.bgsav…

redis服务(2)

配置 gearman 实现数据同步 Gearman是一个支持分布式的任务分发框架。 Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台。 Gearman Client:可以理解为任务的收件员,比如我要在后台执行一个发送邮件的任务&#xff0…

【MySQL集群+Redis配置】

Mysql集群配置 一、主从备份二、主主备份三、多主一从四、一主多从五、Mysql中间件——Amoeba(读写分离)1))先搭建一个主从关系的服务器2) 从服务器上保存授权信息,并开启从服务线程3)配置读写分离 六、安装…

Redis部署

Redis部署 Redis入门简介源码编译安装 Redis入门简介 Redis是一个开源的基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 Redis是一个key-value存储系统。 和Memcached缓存类似,Redis支持存储的value类型相对更多,包括…

redis数据库服务群集(四)

目录 前言 一、redis集群介绍 1、redis集群优势及实现方法 2、redis三种集群模式的作用 二、主从复制模式 1、Redis主从复制的概念 2、主从复制原理 3、Redis主从复制的作用 4、主从复制流程 5、Redis主从复制的搭建 6、验证主从效果 7、报错排查 三、Redis 哨兵模…

Windows启动redis服务

1、进入到redis的安装目录下,在地址栏输入cmd或者在命令行界面中进入到安装目录下 2、输入命令:redis-server.exe redis.windows.conf 3、出现如下界面表示启动成功

Redis数据库(常用命令及服务部署)

目录 一、关系数据库和非关系数据库 ⭐关系型数据库●一个结构化的数据库,创建在关系模型基础上 ●一般面向于记录 ●包括Oracle、MySQL、SQL Server、Microsoft Access、DB2等 ⭐非关系型数据库 ●除了主流的关系型数据库外的数据库,都认为是非关…

redis服务的部署

redis服务的部署 一. 什么是redis?二. redis的配置以及主从关系二. redis常用指令:三. redis 的高可用1. 什么是高可用?2.配置Sentinel3. 主观下线和客观下线 四. redis集群1.Redis集群2.搭建集群 七. 结合数据库 一. 什么是redis&#xff1f…

【服务端】linux搭建redis集群

分享一次从头到尾的搭建redis的集群过程。 3主3从 图中所有的ip地址都是你自己电脑的ip。 一、安装 1.安装依赖包 yum install gcc-c 由于我之前已经安装过了,所以不用再安装了,没安装过就等它自动完成 2.下载redis,需要注意的是版本需…

将redis 设置为服务

每次启动 redis 都要去到 Redis 安装目录下寻找 redis-server.exe 文件点击,很是麻烦,所以可以通过这个方法将redis设置为服务 进入redis文件夹,输入redis-server.exe --service-install redis.windows.conf --loglevel verbose 出现如下情况…

redis服务

redis软件下载地址:Redis redis支持的数据类型: • 字符串(strings) • 散列(hashes) • 列表(lists) • 集合(sets) • 有序集合(sorted sets) redis常用命令: config get *查看配置select 1选择数据库flushdb清空当前数据库flushall清空所有数据库…

Redis添加到系统服务

一、需求 当我们使用Redis时,需要启动Redis服务,然后才能够在客户端使用,在这里推荐使用一个Redis的客户端管理工具 redisdesktopmanager,每次在控制台打开Redis服务之后,都不能够将该窗口关闭,因为一旦关…