HDFS、Hive、MySQL、Sqoop之間的資料匯入匯出（強烈建議去看）

標籤：匯出   .net   size   資料轉換   ref   dir   username   nat   tmp   

Hive總結（七）Hive四種資料匯入方式 （強烈建議去看）

Hive幾種資料匯出方式 https://www.iteblog.com/archives/955 （強烈建議去看）

 

 

 

 

把MySQL裡的資料匯入到HDFS

　　1、使用MySQL工具手工匯入

　　把MySQL的匯出資料匯入到HDFS的最簡單方法就是，使用命令列工具和MySQL語句。

為了匯出整個資料表或整個資料庫的內容，MySQL提供了mysqldump工具。

 

　　比如

　　SELECT  col1,col2 FORM TABLE 

      INTO OUTFILE ‘/tmp/out.csv‘

　　FIELDS TERMINATED BY ‘,‘ , LINES  TERMINATED  BY ‘\n‘;

　　這個學格式就好，具體表看自己的。

　　一旦我們把資料匯出到檔案中，就可以用hadoop fs -put把該檔案，從本地linux移到HDFS上。

 

　　2、使用Sqoop把MySQL裡的資料匯入到HDFS

　　$ sqoop  import  --connect  jdbc:mysql://192.168.80.128/hive  --username   hive   \ >  --password  hive   --table  employees

　　注意，這雷根據自己的來，中繼資料庫名，使用者名稱和密碼

 

 

 

 

把MySQL裡的資料匯入到Hive

　　$ sqoop  import  --connect jdbc:mysql://192.168.80.128/hive   --username  hive   -password  hive  --table employees   --hive-import    --hive-table  employees

　　更為詳細，見

用Sqoop將mysql中的表和資料匯入到Hive中

 

 

 

 

 

把HDFS裡的資料匯出到MySQL

　　$ sqoop  export --connect  jdbc:mysql://192.168.80.128/hive  --username  hive   -password  hive  --table employees   --export-dir  edata  --input-fields-terminated-by  ‘\t‘

　　更為詳細，見

Sqoop1.4.5+hadoop2.2.0進行Mysql到HDFS的資料轉換

 

 

 

 

 

把HDFS裡的資料匯出到Hive

 $  sqoop  export  --connect jdbc://mysql://192.168.80.128/hive  -username  hive   -password  hive  --table employees  --export-dir  /user/hive/warehouse/employees   --input-fields-terminated-by  ‘\001‘     --input-lines-terminated-by  ‘\n‘ 

HDFS、Hive、MySQL、Sqoop之間的資料匯入匯出（強烈建議去看）