泰涨知识 | Hadoop完全分布式HA搭建(上篇)

什么是HA？

HA是High Availability的简写，即高可用，指当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。

在我们的Hadoop集群中，必须要考虑主节点宕机的情况，当主节点宕机切换到备用节点，保证集群的稳定性，接下来我们一起来学习如何搭建Hadoop的完全分布式集群的高可用。

一、搭建环境

1.软件准备

①VMware Workstation或者Virtual Box虚拟机软件

②Xshell或者putty等远程连接工具

③Filezilla或者WinSCP等远程传输工具

④CentOS镜像

2.搭建说明

①搭建三台虚拟机，分别命名为master、slave1、slave2；

②三台虚拟机都创建一个hadoop用户，后续安装都是针对此用户的操作；

③可以根据自身电脑情况调整虚拟机配置，例如内存为16G，则可以为3台虚拟机分配内存为4G、2G、2G；若内存为8G则分配为2G、1G、1G，内存低于8G不建议搭建完全分布式；

④为了减少自身电脑压力，可将虚拟机最小化安装，但最小化安装不利于table键补全命令，所以建议将master安装成GNOE桌面，slave1和slave2安装成最小化。

二、虚拟机配置

1.通过xshell连接到三台虚拟机

注意：在最小化安装中，不能使用ifconfig命令查看ip地址，要使用ip a命令。

2.赋予haodop超管权限

刚刚安装的虚拟机中hadoop用户时没有超管权限的，所以需要为hadoop超管权限，即为hadoop用户添加sudo权限（三台虚拟机都需要做此操作）

①登录root用户

②通过visudo命令打开/etc/sudoers文件，找到root ALL=(ALL) ALL开头的一行，往下添加如下内容：

③测试：退回hadoop用户，使用sudo ls 命令，不报错即配置成功

sudo ls /

3.通过命令修改三台机器的主机名

①将三台机器主机名分别设置为master、slave1、slave2

sudo hostnamectl set-hostname 主机名

②验证：将终端断开，然后重新连接，可以发现主机

名发生了变化

4.修改主机名映射（注意三台虚拟机都需要执行此操作）

①通过ip a命令查看ip地址，我这里是

192.168.80.131 master

192.168.80.132 slave1

192.168.80.133 slave2

②将对应ip地址添加到/etc/hosts文件

sudo vi /etc/hosts

③验证：在任意机器使用ping命令，看是否能ping通域名，能ping通则配置成功（使用Ctrl C快捷键可以停止ping命令）

5.为master配置免密

注意：此操作只在master机器执行

①测试ssh服务是否能正常使用（不能使用需要单独安装ssh服务）ssh localhost #执行成功后会在当前用户家目录生成.ssh文件夹

②生成公钥

ssh-keygen -t rsa

③生成私钥

ssh-copy-id localhost

④验证：输入ssh localhost命令，不需要输入密码能登录，即免密配置成功

ssh localhost#也可以输入ssh master

6.为三台虚拟机互相配置免密

注意：此操作只在master机器执行

①将当前目录的ssh文件夹拷贝到slave1和slave2机器

scp -r /home/hadoop/.ssh hadoop@slave1:/home/hadoop

scp -r /home/hadoop/.ssh slave2:/home/hadoop

#第一次连接需要输入yes，不是第一次则不需要输入密码

#因为当前用户是hadoop，所以hadoop@可以省略

②验证：在任意机器执行ssh 主机名，不需要输入密码能成功登录则配置完成ssh 主机名

7.为了方便后续操作，所有软件将安装在/usr/local/src目录

注意：此操作需要在三台虚拟机上执行

①将/usr/local/src目录的属主和属组改为hadoop

sudo chown -R hadoop:hadoop /usr/local/src

②验证，查看/usr/local/src目录属主和属组是否修

改成功

8.使用以下命令永久关闭防火墙

注意：此操作需要在三台虚拟机上执行

sudo systemctl disable --now firewalld

三、为虚拟机安装jdk

1.上传安装包

通过filezilla或者winscp将jdk安装包上传至Linux系统hadoop用户的家目录，即/home/hadoop/目录，我这里使用的jdk是jdk-8u161-linux-x64.tar.gz

2.将压缩包解压至/use/local/src目录

cd ~

tar -zxf ./jdk-8u161-linux-x64.tar.gz -C

/usr/local/src/

3.修改jdk文件夹名称

cd /usr/local/src

mv ./jdk1.8.0_161/ ./jdk

4.修改环境变量

我此处修改的是家目录下的.bashrc文件，此文件只针对当前用户生效

①使用vi编辑器打开~/.bashrc文件

vi ~/.bashrc

②往最后一行后面输入以下内容

export JAVA_HOME=/usr/local/src/jdk

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVE_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

③激活环境变量

source ~/.bashrc

④验证：输入jps命令，不报错即jdk安装完成

注意：上述操作只在master机器执行

5.将master机器的的jdk配置拷贝到slave1和slave2机器

①将master机器的的jdk安装文件拷贝到slave1和slave2机器

scp -r /usr/local/src/jdk/ slave1:/usr/local/src/

scp -r /usr/local/src/jdk/ slave2:/usr/local/src/

②将环境变量配置文件拷贝到slave1和slave2机器

scp -r ~/.bashrc slave1:/home/hadoop/

scp -r ~/.bashrc slave2:/home/hadoop/

③验证：到slave1和slave2节点执行以下命令激活环境变量，并使用jps命令测试jdk安装是否成功

注意：此操作需要在slave1和slave2两台机器上执行

source ~/.bashrc

jps

四、搭建Zookepeer集群

1.上传安装包

通过filezilla或者winscp将Zookepeer安装包上传至Linux系统hadoop用户的家目录，即/home/hadoop/目录，我这里使用的jdk是jdk-8u161-linux-x64.tar.gz

2.将压缩包解压至/use/local/src目录

cd ~

tar -zxf ./apache-zookeeper-3.6.3-bin.tar.g -C /usr/local/src/

3.修改Zookepeer文件夹名称

cd /usr/local/src

mv apache-zookeeper-3.6.3-bin/ zookeeper

4.配置Zookepeer

①在Zookepeer安装目录创建data和logs目录

cd /usr/local/src/zookeeper

mkdir data

mkdir logs

②在data目录中创建myid文件并写入ID号为1

cd /usr/local/src/zookeeper/data

echo 1 > myid

③在conf目录创建zoo.cfg并输入内容

cd /usr/local/src/zookeeper/conf

vi zoo.cfg

在其中输入以下内容

tickTime=2000

initLimit=5

syncLimit=2

dataDir=/usr/local/src/zookeeper/data

dataLogDir=/usr/local/src/zookeeper/logs

clientPort=2181

server.1=master:2888:3888

server.2=slave1:2888:3888

server.3=slave2:2888:3888

5.修改环境变量

①使用vi编辑器打开~/.bashrc文件

vi ~/.bashrc

②往最后一行后面输入以下内容

export ZOOKEEPER_HOME=/usr/local/src/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

③激活环境变量

source ~/.bashrc

6.将master机器的的Zookepeer配置拷贝到slave1和slave2机器

①将master机器的的Zookepeer安装文件拷贝到slave1和slave2机器

scp -r /usr/local/src/zookeeper/ slave1:/usr/local/src/

scp -r /usr/local/src/zookeeper/ slave2:/usr/local/src/

②将环境变量配置文件拷贝到slave1和slave2机器

scp -r ~/.bashrc slave1:/home/hadoop/

scp -r ~/.bashrc slave2:/home/hadoop/

③修改slave1和slave2的myid文件

注意：此操作要分别在slave1和slave2机器执行

echo 2 > /usr/local/src/zookeeper/data/myid

echo 3 > /usr/local/src/zookeeper/data/myid

④到slave1和slave2节点执行以下命令激活环境变量

注意：此操作需要在slave1和slave2两台机器上执行

source ~/.bashrc

7.启动Zookepeer服务

注意此操作需要三台机器都执行

zkServer.sh start

8.验证：三台机器中有一台是leader，两台是follower

注意此操作需要三台机器都执行

zkServer.sh status

未完待续