Hadoop集群整体概述:
Hadoop集群包括两个集群:HDFS集群、YARN集群
两个集群逻辑上分离(两个集群互相之间没有依赖、互不影响)、通常物理上在一起(某些角色进程往往部署在同一台物理服务器上)
两个集群都是标准的主从架构集群
MapReduce算是集群吗?
MapReduce:是计算框架、代码层面的组件没有集群之说
HDFS架构概述
1)NameNode(nn):存储文件的无数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限,以及每个文件的块列表和块所在的DataNode等。
2)DataNode(dn):在本地文件系统存储文件块数据以及块数据的校验和
3)Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份
YARN架构概述
MapReduce架构概述
1)Map阶段并行处理输入数据
2)Reduce阶段对Map结果进行汇总