Apche pig計算資料 匯入Hbase

標籤：

1.pig將資料匯入或載入到hbase使用HBaseStorage UDF函數,地址： http://pig.apache.org/docs/r0.11.0/func.html#HBaseStorage
   在shell中案例：

     pig -Dpig.additional.jars=/home/pps_recommend/pig-0.11.0/lib/protobuf-java-2.4.0a.jar -x $varPigMode << EOF
           recommend_data = LOAD ‘$recommend_output‘ as(id:chararray,items:chararray);
          STORE recommend_data INTO ‘hbase://short_video_recommend‘ USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(‘info:items‘);
     EOF

   （提示：EOF是將其他應用程式在shell中輸出，切記:特別在shell中有if判斷語句 EOF要頂格寫)

 2.    STORE [載入pig資料集別名] INTO ‘hbase://[HBASE表名]‘ USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(‘[HBASE列簇]:PIG欄位名‘);
 3.注意：    1.在偽分布式下啟動，在zookeeper,hbase正常啟動情況下可以匯入，
    2.正式環境下配置：        2.1在 $PIG_HOME/conf/pig.properties加入:      # -----------------------------------------------------------------------------------------------------------------------------------------

       #pig.load.default.statements=     

      hbase.zookeeper.quorum=10.11.8.161,10.11.8.162,10.11.8.163,10.11.8.164,10.11.8.165,10.11.8.166,10.11.8.167       

      hbase.master.info.bindAddress=10.11.5.222 

      hbase.master.port=60000

    # --------------------------------------------------------------------------------------------------------------------------------------------

    #hbase.zookeeper.quorum= zookeeper叢集地址

    #hbase.master.info.bindAddress=hbase master地址

    #hbase.master.port=hbase master連接埠

   2.2 在$PIG_HOME/lib複製3個包:

        protobuf-java-2.4.0a.jar            hbase-0.94.1.jar         zookeeper-3.4.3.jar
       這個幾個包可以從$HBASE_HOME/lib 和 $HBASE_HOME目下擷取

Apche pig計算資料 匯入Hbase