匯入Hive資料導MySQL

匯入Hive資料到MySQL

1. UDF

使用UDF比較方便，代碼在http://svn.apache.org/repos/asf/hive/trunk/contrib/src/java/org/apache/hadoop/hive/contrib/genericudf/example/GenericUDFDBOutput.java

CREATE TEMPORARY FUNCTION dboutput AS 'hive.udf.GenericUDFDBOutput';

用法：SELECT dboutput ( 'jdbc:mysql://EBPPTEST01:3306/db', 'root', '111111', 'INSERT IGNORE INTO mysql_table(merabbr,merchantcd) VALUES (?,?)', merabbr, merchantcd ) FROM hive_table

2. Sqoop-HCatalog

安裝Sqoop，Hive-0.11.0版本整合了HCatalog

用法sqoop export --connect jdbc:mysql://EBPPTEST01:3306/db --username root --password 111111 --hive-partition-key statdate --hive-partition-value 2013-08-12 -table mysql_table --hcatalog-table hive_mysql

3. Sqoop

用法:sqoop export --connect jdbc:mysql://EBPPTEST01:3306/db --username root --password 111111 --table mysql_table --export-dir /user/hive/warehouse/hive_table/dt=2013-08-14