Sqoop1如何导入导出

Sqoop1是一个优秀的开源数据传输工具，可以实现关系型数据库和Hadoop集群之间的数据交换。Sqoop1支持从关系型数据库中导入数据到Hadoop集群中，同时也支持从Hadoop集群中将数据导出到关系型数据库中。本文将详细介绍Sqoop1如何进行数据导入和导出。

一、导入数据

Sqoop1支持从MySQL、Oracle、PostgreSQL、SQL Server和DB2等关系型数据库中导入数据到Hadoop集群中。下面以MySQL数据库为例，介绍Sqoop1如何导入数据。

1.准备工作

在进行数据导入操作之前，需要确保Hadoop集群和MySQL数据库可正常进行网络通信，同时Sqoop1在运行之前需要进行相关配置。具体如下：

（1）Hadoop集群的配置

需要在hadoop-env.sh、core-site.xml和hdfs-site.xml中配置相关参数。

（2）MySQL数据库的配置

需要修改MySQL的配置文件my.cnf，在[mysqld]下增加以下内容：

[mysqld]
bind-address=0.0.0.0

sqoop import [generic-args] [import-args]

其中，generic-args为通用参数，可以用来指定Sqoop1的输入输出目录、连接信息、用户名密码等。import-args则为导入参数，用来指定待导入数据的相关信息，包括导入数据表的名称、导入数据表的列名、输出格式等。

例如，从MySQL数据库中导入数据到Hadoop集群的命令如下：

sqoop import \
--connect jdbc:mysql://mysqlhost:3306/database \
--username username \
--password password \
--table tableName \
--target-dir /path/to/hdfs \
--fields-terminated-by , \
--lines-terminated-by '
'

[mysqld]
bind-address=0.0.0.0

同时需要为MySQL配置相应的驱动包mysql-connector-java.jar。

（3）Sqoop1的配置

需要修改sqoop-env.sh文件，在其中配置JAVA_HOME、HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME、HIVE_HOME和HBASE_HOME等参数。

2.导出命令

Sqoop1导出命令的语法如下：

sqoop export [generic-args] [export-args]

sqoop export \
--connect jdbc:mysql://mysqlhost/database \
--username username \
--password password \
--table tableName \
--export-dir /path/to/hdfs \
--input-fields-terminated-by ,

该命令将会把Hadoop集群中的/path/to/hdfs目录中的数据导出到MySQL数据库的tableName表中，同时使用逗号作为列分隔符。需要注意的是，导出时会覆盖已有的数据，需要谨慎使用。