Sqoop的使用（Mysql To HBase）

標籤：

最近需要將mysql的資料整合到HBase中，原本使用MapReduce，自己製作job將mysql的資料匯入，

查閱資料過程中，發現了開源工具sqoop（關係性資料庫與HDFS，HBASE，HIVE等）互相匯入的工具，

於是準備嘗試使用，看是否能夠滿足目前資料轉移的需求。

sqoop import --connect jdbc:mysql://192.168.100.**/database --username user -P --table information --hbase-table information --column-family info --hbase-row-key market,label --columns market,label,name,py --hbase-create-table -m 1

 

--hbase-row-key market,label這個命令可以產生market_label格式的rowkey

問題1：

ERROR security.UserGroupInformation: PriviledgedActionException ...

導致這個問題，主要是許可權問題，使用的user沒有在目標路徑下建立有許可權的檔案夾

sudo -u hdfs hadoop fs -mkdir /user/user

sudo -u hdfs hadoop fs -chown user:user /user/user

(/user檔案夾是在sqoop沒有指明檔案路徑情況下的預設路徑)

 

問題2:

Could not insert row with null value for row-key column:

這個問題，可能是由於使用的問題，在columns中需要指明row-key用到的列

 

Sqoop的使用（Mysql To HBase）