前言
最近看了些hadoop相关的资料，然后想自己从零开始搭建一个大数据平台。
大数据平台架构
1.概念性的东西还是不想多啰嗦，先上一张网上找的平台架构图，上图的目的是为了大家对整个平台架构有个宏观的认识，这个很重要，如果盲目的零碎的去研究效果很差。
2.目标当然是整合图中所有框架和组件，但是时间可能有限，机器也有限(本机搭建)。所以，我的计划是先从最主要的hadoop入手，然后再慢慢扩展。
虚拟机环境搭建
1.VMware下载
此处略过n个字。
2.centos7下载安装
1.我下载的是最小的镜像版本
2.用阿里云的吧
3.下一步，选择镜像，自己起个虚拟机名字，默认步骤走就行，因为我已经安装完了，就不演示了，安装过程需要设置管理员密码、时区等，配置完后下一步直到安装完成即可。
3.虚拟机网络设置
1.为什么要用NAT模式？可以设置静态IP，可以上网，可以作为windows客户端的服务器。
2.主要设置NAT模式对应的网络，一般是VMnet8。
注意：IP一定要在同一个网段，且地址不能冲突！！！
点这里也可以
3.修改VMnet8的windows IP为192.168.8.88。
4.虚拟机网络适配器
5.测试网络
linux ping 百度没问题
windows下ping linux服务器也没问题
4.centos服务器的网络配置文件修改
1.vim /etc/sysconfig/network-scripts/ifcfg-ens33
注意：ONBOOT设置为yes，因为centos7默认网卡是关闭的
2.修改主机名和ip映射，这个要重启服务器
vim etc/hostname #hadoop201
vim etc/hosts #192.168.8.201 hadoop201
至此，已完成NAT模式下Linux服务器中 指定静态IP 和 上网 的目的，有网之后利用yum可以安装任意插件了，比如vim， lrzsz，ntp(同步网络时间)，openssh-server,openssh-clients等。
5.安装JDK8，配置环境变量
1.vim /etc/profile
2.验证
6.关闭防火墙，同步网络时间
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态
ntpdate pool.ntp.org #同步网络时间
hwclock -w #将当前时间和日期写入BIOS,避免重启后失效
注意：生成环境上，肯定是要创建hadoop用户，我们这里不再增加创建用户的模块，为了简单好理解。如果是初学者，建议用root用户搞。
至此，单个节点的centos服务器的基本配置就全部完成了，以后如果再缺少插件，请用yum自行安装吧。
7.克隆集群节点(我们还需要4个节点)
1.201这个服务器我们已经安装好了，那么就要为集群准备其他几个节点，直接克隆201即可。右键管理–>克隆–>其他都下一步，下面这里选择完整克隆
2.克隆完成后，检查各节点配置并修改，包括网卡、主机名及映射等信息。5个节点的hosts文件全部改为如下：
8.设置ssh免密登陆
1. cd ~ 根目录下生成rsa 非对称加密密钥 ssh-keygen -t rsa， ls -la查看如果没有.ssh文件请mkdir。
2.五个节点执行ssh-copy-id hadoop201 把各自的公钥发送到hadoop201的授权文件 authorized_keys中；
3.然后把hadoop201 的authorized_keys文件拷贝到其他节点，完成5个节点的相互授权，查看hadoop201的授权文件中是否都包含了所有节点的公钥
4.将.ssh文件拷贝到其他节点
scp -r .ssh/authorized_keys hadoop@hadoop202:~/.ssh/
scp -r .ssh/authorized_keys hadoop@hadoop203:~/.ssh/
scp -r .ssh/authorized_keys hadoop@hadoop204:~/.ssh/
scp -r .ssh/authorized_keys hadoop@hadoop205:~/.ssh/
5.设置权限，所有节点执行：chmod 700 .ssh
6.测试ssh免密登陆
总结：
本文主要讲了虚拟机的配置和centos服务器的配置，为下一步集群搭建做好了准备。正常情况下这些工作应该由运维的同事来做，由于我在自己本机搭建，所以就写一下这个过程来方便大家理解。下一章节将开始集群搭建。
大数据平台搭建（二）：hadoop HA 集群搭建
