hadoop集群搭建（一）HDFS的namenode的HA搭建

Hadoop集群中，NameNode是一个关键组件，它负责维护HDFS中文件系统的元数据。因为Hadoop集群中的故障是不可避免的，所以为了确保高可用性，必须对NameNode进行高可用性配置。本篇文章将介绍HDFS的NameNode的HA搭建过程。

1、环境准备

安装好Hadoop集群，并保证节点之间的网络稳定。Hadoop版本为2.7.7，操作系统为CentOS7.6。

2、HA配置

2.1 配置hdfs-site.xml

在/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件中添加以下配置：

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/hadoop/hadoopdata/namenode</value>
</property>

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node1:8020</value>
</property>

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node2:8020</value>
</property>

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

2.2 配置core-site.xml

在/usr/local/hadoop/etc/hadoop/core-site.xml文件中添加以下配置：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

2.3 格式化NameNode

执行下面的命令来格式化NameNode：

hdfs namenode -format

2.4 启动NameNode

首先，启动active NameNode：

hdfs --daemon start namenode

检查NameNode的启动状态：

jps

查看进程列表中是否有NameNode进程。

2.5 启动Standby NameNode

从备用节点（node2）上的NameNode同步元数据：

hdfs namenode -bootstrapStandby

启动Standby NameNode：

hdfs --daemon start namenode

检查NameNode的启动状态：

jps

查看进程列表中是否有NameNode进程。

2.6 启用自动故障转移

如果active NameNode失效，需要自动将Standby NameNode替换为active NameNode来保证Hadoop集群的高可用性。为此，需要启用自动故障转移：

hdfs haadmin -transitionToActive nn1

这个命令将active NameNode切换到Standby状态并将Standby NameNode切换到active状态。如果返回“Success”，则标志着故障转移成功。

3、测试HA配置

首先，关闭active NameNode进程：

hdfs --daemon stop namenode

检查NameNode的停止状态：

jps

查看进程列表中是否有NameNode进程。

然后，用haadmin命令将Standby NameNode切换为active状态：

hdfs haadmin -transitionToActive nn2

最后，验证集群是否正常运行：

hdfs dfsadmin -report

该命令应返回集群副本状态和容量信息，以确保HA配置正常工作。

4、总结

本文介绍了如何在Hadoop集群中配置HDFS的NameNode的HA。HA能够确保在出现故障时保持系统的可用性。在生产环境中，HA配置是必要的，能够减少因故障引起的停机时间，提高系统的可用性。