Sqoop資料匯出匯入命令

Sqoop資料匯出匯入命令

1. 將mysql中的資料匯入到hive中

sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username root --password 123456 --table tb1 --hive-table tb1 --hive-import -m 1

其中--table tb1是mysql sqoop資料庫中的一張表，--hive-table tb1是匯入到hive中該表的名字，不需要事先建表。

2. 將hive中的資料匯入到mysql中

sqoop export --connect jdbc:mysql://localhost:3306/sqoop --username root --password 123456 --direct --table t4 --export-dir /user/hive/warehouse/tb1/part-m-00000 --input-fields-terminated-by '\001'

--table t4是匯入到mysql中表的名字，需要事先建表

3. 將mysql中的資料匯入到hdfs中

sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username root --password 123456 --table tb1 -m 1

4. 將hdfs中的資料匯入到mysql中

sqoop export --connect jdbc:mysql://localhost:3306/sqoop --direct --table tb1 --username root --password 123456 --export-dir hdfs://localhost:9000/user/Hadoop/tb1/part-m-00000 -m 1

同樣需先在mysql中建立tb1表

在用sqoop將mysql中的資料匯入到hdfs中，曾報以下錯誤：

java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@54b0a583 is still active. No statements may be issued when any streaming result sets are open and in use on a given connection. Ensure that you have called .close() on any active streaming result sets before attempting more queries.

經查詢，為mysql JDBC驅動bug所致，我用的是mysql-connector-java-5.1.10-bin.jar版本的，後改為mysql-connector-java-5.1.25-bin.jar版本的就沒有問題了

通過Sqoop實現Mysql / Oracle 與HDFS / Hbase互導資料

[Hadoop] Sqoop安裝過程詳解

用Sqoop進行MySQL和HDFS系統間的資料互導

Hadoop Oozie學習筆記 Oozie不支援Sqoop問題解決

Hadoop生態系統搭建（hadoop hive hbase zookeeper oozie Sqoop）

Hadoop學習全程記錄——使用Sqoop將MySQL中資料匯入到Hive中

Sqoop 的詳細介紹：請點這裡
Sqoop 的：請點這裡

本文永久更新連結地址：