ubuntu15.10中hadoop2.7.2怎么安装与配置
Hadoop是一个分布式系统,用于存储和处理大规模数据集。在Ubuntu 15.10系统上安装Hadoop 2.7.2需要以下步骤:
1. 下载Hadoop 2.7.2
打开终端,输入以下命令来下载Hadoop 2.7.2:
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
2. 解压Hadoop 2.7.2
输入以下命令来解压下载的文件:
tar -zxvf hadoop-2.7.2.tar.gz
3. 设置环境变量
在终端中输入以下命令来设置环境变量:
export HADOOP_HOME=/path/to/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
为了永久设置环境变量,请编辑/etc/profile文件并添加以上内容。保存并关闭文件后,输入以下命令以应用更改:
source /etc/profile
4. 配置Hadoop
Hadoop配置文件位于$ HADOOP_HOME /etc / hadoop目录中。进入此目录并编辑hadoop-env.sh文件,并在文件中设置JAVA_HOME变量:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
5. 配置Hadoop集群
Hadoop默认在伪分布式模式下运行,但您可以配置Hadoop以在分布式模式下运行。在分布式模式下,您需要配置多个节点。在每个节点上,您需要执行以下步骤:
编辑core-site.xml文件:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
编辑hdfs-site.xml文件:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/tmp/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/tmp/hadoop/hdfs/data</value>
</property>
</configuration>
编辑mapred-site.xml文件:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6. 启动Hadoop
终端中输入一下命令启动Hadoop:
start-dfs.sh
start-yarn.sh
7. 检查状态
在浏览器中输入http://localhost:50070和http://localhost:8088 进入Hadoop集群管理页面和资源管理器页面,以确保Hadoop已成功安装并运行。此时可以开始使用Hadoop了。
以上是在Ubuntu 15.10中安装与配置Hadoop 2.7.2的详细步骤。
