欢迎各位学习和借鉴搭配大数据系统
1.备注
省略了一些文件的创建,请自行创建
2.配置到大数据系统的所有配套文件
案例中所使用的版本,解决了版本适配问题
百度网盘链接：https://pan.baidu.com/s/1B5sx61Ori4U8fshHE3bJaA
提取码：6666
一.安装Lunx：centos7
安装centos7
二.使用xshell和xftp
xshell和xftp使用
三.配置hadoop
使用xshell进行配置Hadoop
四.配置Spark
Spark搭建
五.配置scala
scala搭建
六.配置anaconda
anaconda安装配置至可以使用spark
七.配置zookeeper
zookeeper安装配置
八.配置HBase
HBase安装配置
九.集群启动流程
1.启动hadoop所有应用
主节点输入命令
start-all.sh
关闭安全模式
hdfs dfsadmin -safemode leave
2.启动spark
主节点输入命令
cd /opt/apps/spark-3.1.2-bin-hadoop2.7/sbin
./start-all.sh
3.启动zookeeper
所有节点输入命令
zkServer.sh start
4.启动HBase
主节点输入命令
cd /opt/apps/hbase-2.1.0/bin
start-hbase.sh
5.启动jupyter noteboo
进入vm的Hadoop1的root账号,打开终端后台启动
nohup jupyter notebook --allow-root > jupyter.log 2>&1 &
6.查看
- 主节点jps
- 从节点jps
- HBase
- jupyter notebook
7.对应url
| - | ip端口 |
|---|---|
| hadoop | hadoop1:50070 |
| HBase | hadoop1:16010 |
| jupyter-notebook | hadoop1:8888 |
