Hbase 無法建立帶有snappy壓縮屬性的表

標籤：無法建立   hbase   snappy   

一、要求

在Hbase 資料庫中建立帶有snappy壓縮屬性的表。

二、登陸到hbase 資料庫執行建表操作

hbase(main):016:0> create ‘dcs:t_dev_history‘,{NAME => ‘f‘, DATA_BLOCK_ENCODING => ‘PREFIX_TREE‘, BLOOMFILTER => ‘ROW‘, REPLICATION_SCOPE => ‘0‘, VERSIONS => ‘1‘, COMPRESSION => ‘SNAPPY‘, MIN_VERSIONS => ‘0‘, TTL => ‘2678400‘, KEEP_DELETED_CELLS => ‘FALSE‘, BLOCKSIZE => ‘65536‘, IN_MEMORY => ‘false‘, BLOCKCACHE => ‘true‘}

channel 6: open failed: administratively prohibited: open failed

之前建立的表都沒有使用snappy壓縮，懷疑是snappy沒有安裝

三、檢查所有hbase節點

Master1節點snappy安裝正確

[[email protected] lib]$ cd $HBASE_HOME/lib/native/Linux-amd64-64/

[[email protected] Linux-amd64-64]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so         libsnappy.so

Master2節點snappy安裝錯誤，猜測當時安裝的時候scp的路徑錯誤

[[email protected] ~]$ cd /var/lib/hbase/lib/native/ --發現沒有Linux-amd64-64 目錄

[[email protected] native]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so  

       libsnappy.so        

四、處理過程

1.把檔案傳輸到指定節點

 scp -rp Linux-amd64-64 hadoop-test-Master2:/var/lib/hbase/lib/native/

 scp -rp Linux-amd64-64 hadoop-test-Node1:/var/lib/hbase/lib/native/

 

2.然後重啟hbase叢集

 

./stop-hbase.sh 

./start-hbase.sh 

3.重新建立表成功。

五、小結

1. 作為一名dba，做完相關的操作一定要驗證，一定要驗證，要有嚴謹的態度。

2. 遇到很多問題根本不是技術問題，而是有些人從來都不用心，得過且過。

3. 壓縮在hadoop和hbase中是一個很好的節約空間的方式，值得提倡，尤其是在經費緊張的情況下。

4. snappy需要單獨安裝，並不是安裝hadoop內建的，需要注意。
   

本文出自 “roidba” 部落格，請務必保留此出處http://roidba.blog.51cto.com/12318731/1915081

Hbase 無法建立帶有snappy壓縮屬性的表