centOS7下Spark怎么安装配置

Apache Spark 是一个开源的分布式计算系统。它提供了一种高效的计算模型，在大数据处理和分析方面具有优秀的性能。在 CentOS 7 下，我们可以通过以下步骤来安装和配置 Apache Spark。

步：安装Java

首先，你需要在 CentOS 7 上安装 Java。可以通过以下命令进行安装：

sudo yum install java-1.8.0-openjdk

检查 Java 是否正确安装，可以使用以下命令：

java -version

第二步：下载Spark

在安装 Spark 之前，你需要先下载 Spark 的压缩包。可以从 Spark 的官方网站上下载最新版的压缩包。或者可以使用以下命令进行下载：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

注意：上面的链接是从清华大学镜像下载的，如果无法下载可以从 Spark 官网下载。

第三步：解压 Spark

下载完成之后，我们需要将 Spark 解压到系统中。可以使用以下命令进行解压：

tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz

将解压出的文件夹移动到 /usr/local 目录下：

sudo mv spark-3.1.2-bin-hadoop3.2 /usr/local/spark

第四步：配置环境变量

为了方便使用 Spark，我们需要为其配置环境变量。我们可以编辑 /etc/profile 文件，添加以下内容：

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

使用 source 命令使环境变量生效：

source /etc/profile

第五步：配置 Spark

Spark 通常需要进行一些配置才能正常运行。我们需要进行以下几个配置：

1. 设置 Spark 主机名

编辑 Spark 的 conf 目录下的 spark-env.sh 文件：

sudo cp /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh

sudo vi /usr/local/spark/conf/spark-env.sh

在文件最后添加以下内容：

export SPARK_MASTER_HOST=<你的主机名>

2. 配置 Spark 主节点

编辑 Spark 的 conf 目录下的 slaves 文件：

sudo cp /usr/local/spark/conf/slaves.template /usr/local/spark/conf/slaves

sudo vi /usr/local/spark/conf/slaves

在文件中添加以下内容：

< 个从节点>

<第二个从节点>

...

3. 配置 Spark Web UI

编辑 Spark 的 conf 目录下的 spark-defaults.conf 文件：

sudo vi /usr/local/spark/conf/spark-defaults.conf

在文件中添加以下内容：

spark.driver.bindAddress 0.0.0.0

spark.ui.reverseProxy true

spark.ui.reverseProxyUrl /spark

spark.webUi.enabletrue

spark.ui.reverseEndpoint http://<你的主机名>:8080

第六步：启动 Spark

Spark 配置完成后，我们就可以启动 Spark 了。首先启动 Spark 主节点：

sbin/start-master.sh

然后启动 Spark 从节点：

sbin/start-slaves.sh

完成之后，可以通过 Web UI 进行 Spark 的监控和调试：

http://<你的主机名>:8080

到此为止，Spark 的安装和配置已完成。可以开始在上面跑大数据处理和分析任务了。