云服务器大数据高可用集群搭建-----hadoop篇

article/2025/9/15 20:55:54

目录

  • 一、集群配置
  • 二、集群规划
  • 三、Hadoop、Zookeeper、Java、Centos版本
  • 四、Linux配置
    • 4.1 主机名配置
      • 4.1.1 修改Linux主机名
      • 4.1.2 修改linux的hosts文件
      • 4.1.3 重启服务器
      • 4.1.4 修改windows的hosts文件
    • 4.2防火墙配置
    • 4.3 设置普通用户
    • 4.4 免密登录
    • 4.5 创建安装目录和软件包存放目录
    • 4.6 编写分发脚本
  • 五、jdk安装
  • 六、Zookeeper安装
    • 6.1 安装Zookeeper
    • 6.2 修改配置文件
    • 6.3 程序分发
    • 6.4 标识节点
    • 6.5 启动集群
  • 七、Hadoop安装
    • 7.1 hadoop安装
    • 7.2 修改配置
      • 7.2.1 修改hadoop-env.sh
      • 7.2.2 修改core-site.xml
      • 7.2.3 修改hdfs-site.xml
      • 7.2.4 修改yarn-site.xml
      • 7.2.5 修改mapred-site.xml
      • 7.2.6 修改slaves
    • 7.3 程序分发
    • 7.4 启动集群
      • 7.4.1 启动Zookeeper
      • 7.4.2 初始化NameNode
      • 7.4.3 初始化HA状态
      • 7.4.4 启动HDFS
      • 7.4.5 启动YARN
    • 7.5 查看集群
  • 八、Hadoop集群测试
  • 九、遇到的一些问题
    • 9.1重新初始化
    • 9.2 浏览器无法访问hadoop UI界面的问题

       【注意】记录自己在云端服务器搭建hadoop集群过程，用于个人学习使用

一、集群配置

       本次利用云服务器搭建Hadoop集群，分别采用腾讯云、华为云、百度云等产品，具体配置如下：

服务器命名配置
hadoop1012cpu 内存4GB
hadoop1021cpu 内存2GB
hadoop1031cpu 内存2GB
hadoop1041cpu 内存2GB
hadoop1051cpu 内存2GB

二、集群规划

|服务器名|Zookeeper | NameNode | DataNode |Resourcenode | Nodemanager
|–|–|–|–|–|–|–|–|–|
| hadoop101 | √| √|√ | √|√ | | |
| hadoop102 |√ |√ | √ | | √| | |
| hadoop103 | √| | √| | √ | | |
| hadoop104 | √ | | √| √| √|√ | |
| hadoop105 | √ | | √ | | √| | |

三、Hadoop、Zookeeper、Java、Centos版本

HadoopZookeeperJavaCentos
2.7.23.4.141.87.6

四、Linux配置

4.1 主机名配置

       注意：该部分暂时使用root用户来操作

4.1.1 修改Linux主机名

       1）通过命令 hostname查看主机名，如果不爽当前主机名，可以自己修改。
       2）修改linux的主机名命令如下：

# 在文件里修改名字
vim /etc/sysconfig/network
或者
vim /etc/hostname或者通过直接在终端输入如下命令修改
hostnamectl set-hostname 新名字

       本次通过vim /etc/hostname来修改，将五台服务器分别命名为hadoop101、hadoop102、hadoop103、hadoop104、hadoop105。
在这里插入图片描述

4.1.2 修改linux的hosts文件

       修改centos的hosts文件，命令：vim /etc/hosts，如下图。
在这里插入图片描述
       注意，因为是云服务器，会有两个ip，一个是内网IP,一个是外网IP,我们在设置hosts时，对于要设置的服务器，IP为内网，而对于其他服务器，要设置外网IP。举个例子，假设hadoop101的内网ip为：a：b:c:d，外网IP为e:f:g:h，那么在设置hadoop101的hosts时，hadoop102~hadoop105用外网IP，而hadoop001要使用它的内网IP：a：b:c:d

4.1.3 重启服务器

       重启服务器，此时主机名已经修改为我们指定的hadoop101~105，通过ping 主机名 查看各服务器能进行相互通信。

4.1.4 修改windows的hosts文件

       由于我的电脑系统是windows，为了方便后续操作，需要修改hosts文件。在这里插入图片描述
       注意：这里的ip都是外网IP，通过windows终端通过ping 主机名 来检查windows主机能否和各服务器通信。
在这里插入图片描述

4.2防火墙配置

       注意：该部分使用root用户来操作
       关闭5个服务器的防火墙
       1) 查看防火墙状态：firewall-cmd --state
       2) 如果防火墙开启，请关闭它：systemctl stop firewalld.service
       3) 设置开机时关闭防火墙：systemctl disable firewalld.service
       4) 再次查看防火墙状态：firewall-cmd --state，确保防已火墙关闭。

4.3 设置普通用户

       注意：该部分使用root用户来操作
       前面的操作都是用root用户，由于该用户权限太大，最好使用一般用户操作
       1) 在每台服务器上分别创建普通用户，此处我选择用户名为hadoop：useradd hadoop
       2) 在每台服务器上为hadoop创建密码：passwd hadoop
       3) 在每台服务器上修改配置文件/etc/sudoers，使得普通用户可以具有root操作权限：vim /etc/sudoers，在下图的root位置下面添加hadoop用户。
在这里插入图片描述
注意

# 以下方式每次使用sudo命令时需要输入密码
hadoop  ALL=(ALL)     ALL# 或者通过以下方式设置，那么每次使用sudo命令时就可以不用输入密码了
hadoop  ALL=(ALL)      NOPASSWD:ALL

4.4 免密登录

       注意：以后均使用hadoop用户来操作
       完成前面的配置后，在5台服务器上使用刚刚创建的hadoop用户登录:su hadoop
       1）生成公钥和私钥：ssh-keygen -t rsa ，连续按3次Enter键，会在当前用户家目录下生成隐藏目录.ssh，里面包含私钥id_rsa和公钥id_rsa.pub
在这里插入图片描述

       2) 将公钥复制到要免密登录的服务器上:ssh-copy-id 服务器名，会让你确认是否要连接，输入yes
在这里插入图片描述
       再输入对方主机的密码即可。在这里，我选择将各台服务器都相互免密登录，大家在实际过程中可按需求选择要免密的主机。
       3）验证免密效果，分别测试免密效果：ssh 想要登录的主机名
在这里插入图片描述
       在这里我从hadoop101登录了hadoop102，可以看到不用输入密码就可以直接登录了，如果想要退出对方主机，输入exit即可

4.5 创建安装目录和软件包存放目录

       注意：均使用hadoop用户来操作
       1）创建文件夹
       先创建两个文件夹: /opt/module 和/opt/softs，我所有软件都安装在/opt/module下，软件安装包均放在/opt/softs下,命令为：

# 如果不使用sudo会提示Permission denied
sudo mkdir /opt/module
sudo mkdir /opt/softs

       2）修改文件所有者。上一步创建的2个文件夹属于root用户，将其所有者和所属组都改成hadoop：

sudo chown hadoop:hadoop /opt/module/
sudo chown hadoop:hadoop /opt/softs

4.6 编写分发脚本

       1）由于集群有5台服务器，如果分别安装各程序效率比较低，所以可以通过在一台服务器安装各程序，再编写一个分发脚本，将程序分发到其他服务器(当然也可以在各台服务器上分别安装各个程序)。在/home/hadoop下创建bin目录,，再在bin目录下编写分发程序脚本：xsync.sh:

 cd /home/hadoop mkdir bincd binvim xsync.sh

       脚本内容为：

#!/bin/bash
# 获取输入参数的数量，如果没有参数就直接退出
pcount=$#
if((pcount==0)); thenecho "没有参数";
exit;
fi#获取文件名称
p1=$1
fname=`basename $p1`echo fname=$fname#获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir#获取当前用户名称
user=`whoami`#循环,我在hadoop101上安装，所以需要将程序分发到hadoop102~105上
for((host=102; host<106; host++)); doecho --------------------- hadoop$host ----------------rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

       2）权限修改
       刚刚创建的脚本没有不可执行，所以需要修改，将其设定为可执行：chmod +x xsync.sh
       3）测试脚本
       为了确定脚本是否能够运行，先创建个文件来测试(目标主机的父目录需要已经创建，否则无法分发成功)。在当前家目录下创建文件：vim xsy.txt，内容随便写，我写的是This is a test file!
              a) 开始测试：xsync.sh /home/hadoop/xsy.txt，结果如下图
在这里插入图片描述
              b) 发现hadoop105提示没有rsync，那么需要在hadoop105上安装该模块：

sudo yum install rsync -y

              c) 再次测试，所有文件分发成功，结果如下图
在这里插入图片描述
              d) 找一台服务器确认最终结果，发现文件确实分发到其他服务器上了，结果如下图
在这里插入图片描述

五、jdk安装

       我使用的是jkd8
       1）首先将jdk压缩文件上传到hadoop101的/opt/softs目录下，之后进入/opt/softs/目录：cd /opt/softs/
       2）安装jdk：tar -zxvf jdk-8u291-linux-x64.tar.gz -C /opt/module/表示将jdk安装到/opt/module/
       3） 配置系统环境变量：sudo vim /etc/profile，添加如下信息

export JAVA_HOME=/opt/module/jdk1.8.0_291
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

       4）使得配置的环境变量生效:source /etc/profile
       5）将hadoop101安装好的jdk分发到hadoop102~105:xsync.sh /opt/module/jdk1.8.0_291
       6）在各台主机上添加jdk系统变量并用source来刷新，之后查看java版本，确认安装成功:java -version
在这里插入图片描述

六、Zookeeper安装

       注意：均使用hadoop用户来操作
       为保证集群高可用，Zookeeper 集群的节点数量最好是奇数，此处我选择了五台服务器。

6.1 安装Zookeeper

       1）首先将Zookeeper压缩文件上传到hadoop101的/opt/softs目录下，之后进入/opt/softs/目录：cd /opt/softs/
       2）安装Zookeeper：tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/module/表示将zookeeper安装到/opt/module/
       3） 配置系统环境变量：sudo vim /etc/profile，添加如下信息

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.14
export PATH=$ZOOKEEPER_HOME/bin:$PATH

       4）使得配置的环境变量生效:source /etc/profile

6.2 修改配置文件

       1）进入zookeeper的安装目录下的 conf目录 ，拷贝配置样本并进行修改：

cd  /opt/module/zookeeper-3.4.14/conf
cp zoo_sample.cfg  zoo.cfg
vim zoo.cfg

       2）修改dataDir，增加dataLogDir如下：

dataDir=/opt/module/zookeeper-3.4.14/zookeeper-cluster/data
dataLogDir=/opt/module/zookeeper-3.4.14/zookeeper-cluster/log

# server.1 这个1是服务器的标识，可以是任意有效数字，标识这是第几个服务器节点，这个标识要写到dataDir目录下面myid文件里
# 指名集群间通讯端口和选举端口
server.1=hadoop101:2287:3387
server.2=hadoop102:2287:3387
server.3=hadoop103:2287:3387
server.4=hadoop104:2287:3387
server.5=hadoop105:2287:3387

6.3 程序分发

       1) 将hadoop101安装好的zookeeper分发到hadoop102~105:xsync.sh /opt/module/zookeeper-3.4.14
        2）在各台主机上添加zookeeper系统变量并用source来刷新

6.4 标识节点

       1）分别在五台主机的 dataDir 目录下新建 myid 文件： mkdir -vp /opt/module/zookeeper-3.4.14/zookeeper-cluster/data/
在这里插入图片描述
       2）写入对应的节点标识。Zookeeper 集群通过 myid 文件识别集群节点，并通过上文配置的节点通信端口和选举端口来进行节点通信，选举出 Leader 节点。

# hadoop101上执行
echo "1" > /opt/module/zookeeper-3.4.14/zookeeper-cluster/data/myid# hadoop102上执行
echo "2" > /opt/module/zookeeper-3.4.14/zookeeper-cluster/data/myid# hadoop103上执行
echo "3" > /opt/module/zookeeper-3.4.14/zookeeper-cluster/data/myid# hadoop104上执行
echo "4" > /opt/module/zookeeper-3.4.14/zookeeper-cluster/data/myid# hadoop105上执行
echo "5" > /opt/module/zookeeper-3.4.14/zookeeper-cluster/data/myid

6.5 启动集群

       进入各台服务器${ZOOKEEPER_HOME}/bin，然后执行zkServer.sh start 启动集群，并用zkServer.sh status查看状态：

cd $ZOOKEEPER_HOME/bin
zkServer.sh start
zkServer.sh status

       其结果如下图，可以看出：5个节点进程均启动成功，并且 hadoop105 为 leader 节点其他节点为 follower 节点。
在这里插入图片描述

七、Hadoop安装

7.1 hadoop安装

       1）首先将hadoop压缩文件上传到hadoop101的/opt/softs目录下，之后进入/opt/softs/目录：cd /opt/softs/
       2）安装hadoop：tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/表示将hadoop安装到/opt/module/
       3） 配置系统环境变量：sudo vim /etc/profile，添加如下信息

export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:${HADOOP_HOME}/bin

       4）使得配置的环境变量生效:source /etc/profile

7.2 修改配置

       进入 ${HADOOP_HOME}/etc/hadoop 目录下，修改几个配置文件。各个配置文件内容如下：

7.2.1 修改hadoop-env.sh

# 指定JDK的安装位置
export JAVA_HOME=/opt/module/jdk1.8.0_291

7.2.2 修改core-site.xml

<configuration><property><!-- 指定 namenode 的 hdfs 协议文件系统的通信地址 --><name>fs.defaultFS</name><value>hdfs://hadoop101:8020</value></property><property><!-- 指定 hadoop 集群存储临时文件的目录 --><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp</value></property><property><!-- ZooKeeper 集群的地址 --><name>ha.zookeeper.quorum</name><value>hadoop101:2181,hadoop102:2181,hadoop103:2181,hadoop104:2181,hadoop105:2181</value></property><property><!-- ZKFC 连接到 ZooKeeper 超时时长 --><name>ha.zookeeper.session-timeout.ms</name><value>10000</value></property>
</configuration>

7.2.3 修改hdfs-site.xml

<configuration><property><!-- 指定 HDFS 副本的数量 --><name>dfs.replication</name><value>3</value></property><property><!-- namenode 节点数据（即元数据）的存放位置，可以指定多个目录实现容错，多个目录用逗
号分隔 --><name>dfs.namenode.name.dir</name><value>/home/hadoop/namenode/data</value></property><property><!-- datanode 节点数据（即数据块）的存放位置 --><name>dfs.datanode.data.dir</name><value>/home/hadoop/datanode/data</value></property><property><!-- 集群服务的逻辑名称 --><name>dfs.nameservices</name><value>mycluster</value></property><property><!-- NameNode ID 列表--><name>dfs.ha.namenodes.mycluster</name><value>nn1,nn2</value></property><property><!-- nn1 的 RPC 通信地址 --><name>dfs.namenode.rpc-address.mycluster.nn1</name><value>hadoop101:8020</value></property><property><!-- nn2 的 RPC 通信地址 --><name>dfs.namenode.rpc-address.mycluster.nn2</name><value>hadoop102:8020</value></property><property><!-- nn1 的 http 通信地址 --><name>dfs.namenode.http-address.mycluster.nn1</name><value>hadoop101:50070</value></property><property><!-- nn2 的 http 通信地址 --><name>dfs.namenode.http-address.mycluster.nn2</name><value>hadoop102:50070</value></property><property><!-- NameNode 元数据在 JournalNode 上的共享存储目录 --><name>dfs.namenode.shared.edits.dir</name><value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485;hadoop104:8485;hadoop105/mycluster</value></property><property><!-- Journal Edit Files 的存储目录 --><name>dfs.journalnode.edits.dir</name><value>/home/hadoop/journalnode/data</value></property><property><!-- 配置隔离机制，确保在任何给定时间只有一个 NameNode 处于活动状态 --><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><!-- 使用 sshfence 机制时需要 ssh 免密登录 --><name>dfs.ha.fencing.ssh.private-key-files</name><value>/home/hadoop/.ssh/id_rsa</value></property><property><!-- SSH 超时时间 --><name>dfs.ha.fencing.ssh.connect-timeout</name><value>30000</value></property><property><!-- 访问代理类，用于确定当前处于 Active 状态的 NameNode --><name>dfs.client.failover.proxy.provider.mycluster</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><!-- 开启故障自动转移 --><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property>
</configuration>

7.2.4 修改yarn-site.xml

<configuration><property><!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可以在
Yarn 上运行 MapReduce 程序。--><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><!-- 是否启用日志聚合 (可选) --><name>yarn.log-aggregation-enable</name><value>true</value></property><property><!-- 聚合日志的保存时间 (可选) --><name>yarn.log-aggregation.retain-seconds</name><value>86400</value></property><property><!-- 启用 RM HA --><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><property><!-- RM 集群标识 --><name>yarn.resourcemanager.cluster-id</name><value>my-yarn-cluster</value></property><property><!-- RM 的逻辑 ID 列表 --><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property><property><!-- RM1 的服务地址 --><name>yarn.resourcemanager.hostname.rm1</name><value>hadoop101</value></property><property><!-- RM2 的服务地址 --><name>yarn.resourcemanager.hostname.rm2</name><value>hadoop104</value></property><property><!-- RM1 Web 应用程序的地址 --><name>yarn.resourcemanager.webapp.address.rm1</name><value>hadoop101:8088</value></property><property><!-- RM2 Web 应用程序的地址 --><name>yarn.resourcemanager.webapp.address.rm2</name><value>hadoop104:8088</value></property><property><!-- ZooKeeper 集群的地址 --><name>yarn.resourcemanager.zk-address</name><value>hadoop101:2181,hadoop102:2181,hadoop103:2181,hadoop104:2181,hadoop105:2181</value></property><property><!-- 启用自动恢复 --><name>yarn.resourcemanager.recovery.enabled</name><value>true</value></property><property><!-- 用于进行持久化存储的类 --><name>yarn.resourcemanager.store.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value></property>
</configuration>

7.2.5 修改mapred-site.xml

       生成mapred-site.xml：cp mapred-site.xml.template mapred-site.xml

<configuration><property><!--指定 mapreduce 作业运行在 yarn 上--><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

7.2.6 修改slaves

       配置所有节点的主机名或 IP 地址，每行一个,所有从属节点上的 DataNode 服务和
NodeManager 服务都会被启动。

hadoop101
hadoop102
hadoop103
hadoop104
hadoop105

7.3 程序分发

       1) 将hadoop101安装好的hadoop分发到hadoop102~105:xsync.sh /opt/module/hadoop-2.7.2
        2）在各台主机上添加hadoop系统变量并用source来刷新

7.4 启动集群

7.4.1 启动Zookeeper

       启动集群之前需要先启动zookeeper，由于前面已经启动了zookeeper，所以此处不需要再启动zookeeper。

7.4.2 初始化NameNode

        2）在每一台几点上cd ${HADOOP_HOME}/sbin
        2）在每一台几点上./hadoop-daemon.sh start journalnode启动日journalnode
        3）在一台namenode节点上初始化集群，我选择在hadoop101上进行，命令为：hdfs namenode -format

看到successfully表示初始化成功。
        4） 执行初始化命令后，需要将 NameNode 元数据目录的内容复制到其他未格式化的 NameNode 上。元数据存储目录就是我们在 hdfs-site.xml 中使用 dfs.namenode.name.dir 属性指定的目录。这里我们需要将其复制到 hadoop102 上： scp -r /home/hadoop/namenode/data hadoop102:/home/hadoop/namenode/

7.4.3 初始化HA状态

        在任意一台namenode节点上初始化集群，我选择在hadoop101上进行，命令为：hdfs zkfc -formatZK

7.4.4 启动HDFS

        在namenode节点上初始化集群。进入到 hadoop101 的 ${HADOOP_HOME}/sbin 目录下，启动 HDFS。此时 hadoop101 和
hadoop102 上的 NameNode 服务，和5台服务器上的 DataNode 服务都会被启动：命令为：./start-dfs.sh

7.4.5 启动YARN

        1) 在namenode节点上初始化集群。进入到 hadoop101 的 ${HADOOP_HOME}/sbin 目录下，启动 YARN。此时 hadoop101 上的
ResourceManager 服务和5台服务器上的 NodeManager 服务都会被启动：命令为：./start-yarn.sh
        2) 此时 hadoop104 上的 ResourceManager 服务通常是没有启动的，需要手动启动， 首先进入hadoop104的 ${HADOOP_HOME}/sbin目录，再执行命令：./yarn-daemon.sh start resourcemanager

7.5 查看集群

        1）通过在每台机器上输入命令：jps查看集群各服务开启情况。如下图，发现所有服务正常开启。
在这里插入图片描述

        2）HDFS 和 YARN 的端口号分别为 50070 和 8080。打开浏览器，输入hadoop101:50070进入WEB UI界面，此时 hadoop101 上的 NameNode 处于可用状态：

在这里插入图片描述
        3）同样输入hadoop102:50070进入WEB UI界面，此时 hadoop102 上的 NameNode 处于不可用状态：：

在这里插入图片描述
        4）HDFS 和 YARN 的端口号分别为 50070 和 8080。打开浏览器，输入hadoop101:8088进入WEB UI界面，此时 可在hadoop101 上的 查看YARN节点情况，可以看到有5台服务器节点：

在这里插入图片描述

八、Hadoop集群测试

        通过上面几个步骤安装了Hadoop，现在对其自带的例子进行测试，计算pi值：

hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 3 3

在这里插入图片描述

九、遇到的一些问题

9.1重新初始化

        如果想要重新初始化，需要把删除一些文件，主要是hadoop设置里面的文件，清单如下：

配置文件对应的需要删除的文件夹
core-site.xml/home/hadoop/tmp
hdfs-site.xml/home/hadoop/namenode/data、/home/hadoop/datanode/data、/home/hadoop/journalnode/data

然后再重新按照7.4.2初始化

9.2 浏览器无法访问hadoop UI界面的问题

       这个问题可能是没有设置物理机的hosts问题，可做如下修改：
       1.进入C:\Windows\System32\drivers\etc，以管理员打开hosts
       2.将hadoop的ip 和别名写入hosts，保存后再刷新或重启试试
在这里插入图片描述


http://chatgpt.dhexx.cn/article/ssWWOCCa.shtml

相关文章

云服务器搭建Hadoop集群

云服务器搭建Hadoop集群

云服务器搭建Hadoop集群 一、配置服务器1. 创建普通用户2. 安装 Java 环境3.安装hadoop4.网络配置5.hadoop配置6.执行分布式实例 一、配置服务器 1. 创建普通用户 说明&#xff1a;由于 root 环境下操作比较危险&#xff0c;所以这里新建一个普通用户来进行 hadoop 的搭建。 …
阅读更多...
ZooKeeper集群搭建

ZooKeeper集群搭建

目录 1 搭建要求 2 准备工作 3 配置集群 4 启动集群 5 模拟集群异常 1 搭建要求 真实的集群是需要部署在不同的服务器上的&#xff0c;但是在我们测试时同时启动很多个虚拟机内存会吃不消&#xff0c;所以我们通常会搭建伪集群&#xff0c;也就是把所有的服务都搭建在一台…
阅读更多...
（七）centos7案例实战——nginx+keepalived高可用服务器集群搭建

（七）centos7案例实战——nginx+keepalived高可用服务器集群搭建

前言 本节内容延续之前的内容&#xff0c;往期博客已经介绍了如何安装nginx服务器以及将nginx安装成为一个系统服务&#xff0c;本节内容是在前期内容的基础上&#xff0c;搭建一个高可用的nginx服务器集群&#xff0c;主要使用Keepalived组件&#xff0c;实现高可用的nginx集…
阅读更多...
多台云服务器的 Kubernetes 集群搭建

多台云服务器的 Kubernetes 集群搭建

环境 两台或多台腾讯云服务器&#xff08;本人搭建用了两台&#xff09;&#xff0c;都是 CentOs 7.6&#xff0c; master 节点&#xff1a;服务器为 4C8G&#xff0c;公网 IP&#xff1a;124.222.61.xxx node1节点&#xff1a;服务器为 4C4G&#xff0c;公网 IP&#xff1a…
阅读更多...
基于slurm框架的GPU服务器集群搭建方法

基于slurm框架的GPU服务器集群搭建方法

基于slurm框架的GPU服务器集群搭建操作文档 1. 环境基础 2. 环境配置 2.1 hostname配置 2.2 关闭SELinux &#xff08;master, slave&#xff09; 2.3 关闭Firewall &#xff08;master, slave&#xff09; 2.4 配置ip与hostname映射关系 (master, slave1) 3. 创建munge和…
阅读更多...
Tomcat服务器集群搭建

Tomcat服务器集群搭建

Tomcat服务器集群与负载均衡 一、前言 在单一的服务器上执行WEB应用程序有一些重大的问题&#xff0c;当网站成功建成并开始接受大量请求时&#xff0c;单一服务器终究无法满足需要处理的负荷量&#xff0c;所以就有点显得有 点力不从心了。另外一个常见的问题是会产生单点故障…
阅读更多...
Hadoop分布式集群搭建完整版（持续更新中）

Hadoop分布式集群搭建完整版（持续更新中）

1.前期准备工作 各类软件以及工具包下载 2.网络环境配置 2.1 打开 VMware 找到编辑&#xff0c;点击虚拟网络配置 2.2 点击第二行&#xff0c;然后更改设置 2.3 点击第三行VMnet8&#xff0c;把本地DHC服务将IP地址分配给虚拟机取消&#xff0c;配置子网&#xff0c;子网掩码&a…
阅读更多...
保姆级教学——集群环境搭建及创建集群

保姆级教学——集群环境搭建及创建集群

保姆级教学——集群环境搭建及创建集群 新建虚拟机 一些默认&#xff0c;加载镜像开启虚拟机&#xff0c;在安装位置选择自己目录&#xff0c;然后建立分区&#xff0c;首先添加 挂载点&#xff0c;类型标准分区&#xff0c;文件系统ext4 加载分区&#xff0c;期望给2G, 类…
阅读更多...
集群搭建完整版

集群搭建完整版

集群搭建完整版 1.集群搭建的准备工作 1.克隆虚拟机 &#xff08;要三台&#xff0c;创建一台 JDK、Hadoop 都安装完成的虚拟机&#xff0c;看 1.1 和 1.2&#xff09; 2. 修改克隆虚拟机的静态 IP vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICEeth0 TYPEEthernet ON…
阅读更多...
搭建服務器集群【3大注意事項】

搭建服務器集群【3大注意事項】

简述 服务器集群是现时很多企业选用的建站科案选用技术, 为企业提供更稳定可靠的运作, 服务器出现超载或宕机也不会导致整个业务无法运作, 是企业服务器热备的不二之选, 我们为你一一说明一下 什么是服务器集群&#xff1f; 服务器集群指多台服务器集合及共同管理一个业务, …
阅读更多...
通过vnc自动连接linux,通过VNC连接Linux远程桌面

通过vnc自动连接linux,通过VNC连接Linux远程桌面

因为特殊的需求关系&#xff0c;琢磨了一下如何在本地连接远程Linux主机的桌面环境。翻了不少网上的相关文章&#xff0c;大部分都只讲了步骤没有说为什么这么做&#xff0c;我就简单再复述一遍吧&#xff0c;加深一下印象。 环境如下&#xff1a; 本地&#xff1a;OS X 10.8.2…
阅读更多...
Linux和Windows间的远程桌面访问

Linux和Windows间的远程桌面访问

在Windows上面&#xff0c;我们都用过系统自带的远程桌面连接或者TeamViewer这样的工具&#xff0c;可以方便的让我们用图形化方式远程操作其他计算机。但是在Linux上&#xff0c;我们一般都是使用SSH来操作终端。那么在Linux上有没有一些工具可以让我们像Windows那样用图形化的…
阅读更多...
Linux远程桌面初体验——todesk、向日葵终极对决

Linux远程桌面初体验——todesk、向日葵终极对决

文章目录 前言一、使用环境及软件介绍二、使用步骤总结 前言 大家都知道&#xff0c;Linux桌面的功能很少被人使用&#xff0c;但目前包括但不限于红帽系的发行版本慢慢开始重视桌面环境&#xff0c;尤其是国产操作系统。今天我就来大家看一下国产操作系统下远程桌面的使用体验…
阅读更多...
linux远程桌面连接

linux远程桌面连接

rdesktop这个软件 sudo apt-get install rdesktoprdesktop -g 1366*768 -P -z -x l -r sound:off -u username 192.168.123.5参数意义-g后面代表要使用的分辨率-P启用位图缓存-z启用RDP数据流压缩-x l使用局域网级别的图像质量-r sound:off关闭声音-u windowuser指定要使用的用…
阅读更多...
Linux 远程桌面实现

Linux 远程桌面实现

硬件环境&#xff1a;树莓派3B 操作系统&#xff1a; Raspberry Jessie 安装xrdp服务&#xff08;属于tightVNC服务的一部分&#xff09; sudo apt-get install xrdp 安装完成后&#xff0c;输入如下命令&#xff1a; sudo /etc/init.d/xrdp start sudo update-rc.d xrdp de…
阅读更多...
Linux配置VNC远程桌面

Linux配置VNC远程桌面

环境&#xff1a;CentOS7 VNC需要系统安装的有桌面&#xff0c;如果是生产环境服务器&#xff0c;安装时使用的最小化安装&#xff0c;那么进行下面操作按章GNOME 桌面。 # 列出的组列表里有GNOME Desktop。 yum grouplist #安装之 yum groupinstall -y "GNOME Desktop&…
阅读更多...
如何远程linux服务器桌面,LINUX操作系统如何远程登录桌面

如何远程linux服务器桌面,LINUX操作系统如何远程登录桌面

相比window来说linux远程桌面登陆需要第三方软件来实现&#xff0c;之前用ssh登陆的都是字符界面;昨天试了试远程桌面也是可以的&#xff0c;方法很多&#xff0c;这儿只阐述比较好用的一种;使用时&#xff0c;关闭windows防火墙&#xff0c;或者开启相应的防火墙端口;这里使用…
阅读更多...
linux远程桌面rdesktop,Linux下通过rdesktop连接Windows远程桌面

linux远程桌面rdesktop,Linux下通过rdesktop连接Windows远程桌面

rdesktop是linux下支持Windows远程桌面连接的客户端程序，在linux系统下可通过它远程访问Windows桌面，支持多种版本。rdesktop是sourceforge下支持GPL协议的一个开源项目，采用RDP(Remote Desktop Protocol,远程桌面协议)，几乎可以连接windows的所有版本，诸如NT 4 Terminal …
阅读更多...
red hat linux 远程,Red Hat Linux 远程桌面 – 如何设置

red hat linux 远程,Red Hat Linux 远程桌面 – 如何设置

远程访问 RHEL 计算机。运行 RHEL 7.3-8.1 的 Linux 计算机的远程桌面。从任何计算机、平板电脑或移动设备进行访问。立即免费试用&#xff01; 如果您是在家中或在旅途中工作&#xff0c;则可能需要一段时间才能在办公室或在家中访问台式计算机。如果该桌面恰巧在 Linux 操作系…
阅读更多...
linux系统开远程桌面,Linux 系统开启远程桌面的方法

linux系统开远程桌面,Linux 系统开启远程桌面的方法

Linux操作系统开启远程桌面的方法 一、组网需求： 我司iMC不仅支持Windows系统环境下的安装部署，还支持Linux系统环境下的安装部署，在定位网上问题或者远程安装部署时，远程桌面是一种快捷的方法，Windows操作系统下开启远程桌面的方法众所周知，下面介绍开启Linux操作系统远…
阅读更多...
推荐文章

Copyright @ 2022~2023