使用Sqoop將MySQL資料匯入到Hadoop

使用Sqoop將MySQL資料匯入到Hadoop

Hadoop的安裝配置這裡就不講了。

Sqoop的安裝也很簡單。Sqoop的安裝與使用   完成sqoop的安裝後，可以這樣測試是否可以串連到mysql(注意：mysql的jar包要放到 SQOOP_HOME/lib 下)：sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231結果如下即說明sqoop已經可以正常使用了。 

CentOS安裝和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop環境

Ubuntu 12.10 +Hadoop 1.2.1版本叢集配置

Ubuntu上搭建Hadoop環境（單機模式+偽分布模式）

Ubuntu下Hadoop環境的配置

單機版搭建Hadoop環境圖文教程詳解

搭建Hadoop環境（在Winodws環境下用虛擬機器虛擬兩個Ubuntu系統進行搭建）

 下面，要將mysql中的資料匯入到hadoop中。我準備的是一個300萬條資料的身份證資料表： 先啟動hive（使用命令列：hive 即可啟動） 然後使用sqoop匯入資料到hive：sqoop import --connect jdbc:mysql://192.168.1.109:3306/hadoop --username root --password 19891231 --table test_sfz --hive-import sqoop 會啟動job來完成匯入工作。 完成匯入用了2分20秒，還是不錯的。 在hive中可以看到剛剛匯入的資料表： 我們來一句sql測試一下資料：select * from test_sfz where id < 10;可以看到，hive完成這個任務用了將近25秒，確實是挺慢的（在mysql中幾乎是不費時間），但是要考慮到hive是建立了job在hadoop中跑，時間當然多。 接下來，我們會對這些資料進行複雜查詢的測試：我機子的配置如下：hadoop 是運行在虛擬機器上的偽分布式，虛擬機器OS是ubuntu12.04 64位，配置如下：

更多詳情見請繼續閱讀下一頁的精彩內容：

1 2 下一頁