centos7搭建hadoop2.10高可用(HA)

为了保证hadoop集群的高可用性，常常需要采用HA模式。本文将介绍如何在CentOS 7上搭建Hadoop 2.10的高可用模式。

1. 部署zookeeper集群

由于Hadoop的HA模式是基于ZooKeeper实现的，所以需要先部署ZooKeeper集群。

1）安装ZooKeeper

在所有的机器上均要安装ZooKeeper。可以通过以下命令快速安装：

sudo yum install -y zookeeper zookeeper-server

2）配置ZooKeeper集群

在所有机器上均要修改ZooKeeper的配置文件，路径为/etc/zookeeper/conf/zoo.cfg，需要新增以下内容，设置ZooKeeper集群的IP地址：

server.1=ip1:2888:3888
server.2=ip2:2888:3888
server.3=ip3:2888:3888

其中1、2、3是ZooKeeper集群中各个节点的编号，需要在每个节点上设置不同的编号。ip1、ip2、ip3为各节点的IP地址。

3）启动ZooKeeper集群

在ZooKeeper集群中的任意一个节点上运行以下命令启动ZooKeeper服务：

sudo systemctl start zookeeper-server

可以通过以下命令查看ZooKeeper集群的状态：

sudo systemctl status zookeeper-server

2. 配置Hadoop HA

1）修改Hadoop配置文件

在所有机器上均要修改Hadoop的配置文件，路径为/usr/local/hadoop/etc/hadoop/core-site.xml，需要新增以下内容：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>ip1:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>ip2:8020</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>ip1:50070</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>ip2:50070</value>
</property>
<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
    <name>ha.zookeeper.quorum</name>
    <value>ip1:2181,ip2:2181,ip3:2181</value>
</property>

其中，mycluster为Hadoop集群的名称，需要在各节点上保持一致。ip1、ip2为Hadoop集群中各节点的IP地址。

2）格式化Hadoop NameNode

在其中一个节点上，执行以下命令格式化Hadoop NameNode：

hdfs namenode -format

3）启动Hadoop集群

在其中一个节点上，运行以下命令启动Hadoop集群：

start-dfs.sh

然后在另一个节点上，也通过以上命令启动Hadoop集群。

4）测试Hadoop HA

可以通过以下命令测试Hadoop的HA模式：

hdfs haadmin -getServiceState nn1

以上命令会返回nn1所在节点的状态，如果状态为active，则表示当前节点是Active NameNode；如果返回值为standby，则表示当前节点是Standby NameNode。

虽然Hadoop HA部署完成，但可能会遇到很多问题。因此，了解一些常见问题的解决方法非常有必要，这些问题及其解决方法可以在Hadoop官方文档中找到。