一、概述
大数据领域的两大难题：
1、存储
2、处理
解决方案：Hadoop解决类存储和处理的两大难题，其主要提供两大核心技术：
1、Hadoop分布式文件系统
2、MapReduce并行计算
二、Google核心云计算技术
海量数据存储的三大核心技术：
MapReduce编程模型
分布式文件系统（GFS）
分布式结构化数据存储
1、MapReduce编程模型
编程思想：分而治之
以键值对的形式来进行数据的输入和输出，它将待处理的数据集分解为多个小的键值对来处理。MapReduce编程模型将复杂的并行计算过程高度抽象到map()函数和reduce()函数中。
MapReduce模型将一个大的计算问题分解成多个小的计算问题，由多个map()函数对这些分解后的小问题进行计算，输出中间计算结果，然后由reduce()函数对map()函数的输出结果进行进一步合并，得出最终的计算结果，工作原理如图所示：
map阶段将一个复杂的任务分解为多个简单的小任务，这些小任务会在多个map()函数中进行并行处理，然后每个函数将处理的中间结果输出。reduce将对数据的中间结果根据键来做聚合处理，最终输出聚合后的数据结果。
2、分布式文件系统（GFS）
GFS分布式文件系统的目标：系统的可靠性、可伸缩性、可用性及性能
运行要求：
需要运行在廉价的服务器上
必须保证系统的容错性
能够大文件和小文件并存
保证系统的容错性：
a、Master容错
b、Chunk服务器容错
三、Hadoop云计算技术
1、Hadoop核心组件
Hadoop的核心组件包括HDFS和分布式计算框架MapReduce，和YARN框架以及Common工具
1）分布式计算框架MapReduce
MapReduce框架将复杂的大数据处理过程抽象为map()函数和reduce()函数，分别执行大数据处理中的map任务和reduce任务，用户只需要简单编写map()函数和reduce()函数即可开发出一个分布式的Hadoop程序
2）HDFS
HDFS是Hadoop存储海量数据的基石，能够提供对应用程序数据的高吞吐量访问。
3）YARN框架
YARN是Hadoop框架用于作业调度和集群资源管理的框架。
4）Common工具
Hadoop的Common就是封装了一些常用的底层工具。
2、Hadoop物理架构
Hadoop架构不仅在逻辑上支持分布式部署，而且在物理上也是分布式的。可以将Hadoop部署在由上千台物理机组成的大规模分布式集群上，并且Hadoop能够运行在由大规模廉价服务器组成的集群上，架构如图：
3、Hadoop的原理和运行机制
1）HDFS
Hadoop会将一个大文件切分成n个小文件数据块，分别存储到不同的DataNode上
2）分布式计算框架MapReduce
3）YARN资源调度系统
4、Hadoop相关技术与概述
1）Hive
2）Pig
3）Flume
4）Kafka
5）Sqoop
6）Storm
7）Spark
8）Mahout
5、Hadoop的局限性
1）时效性低
2）不适合存储大量的小文件
3）不支持任意修改文件
4）不支持多人同时进行写操作
