HBase使用壓縮儲存（snappy）

標籤：

在將mysql資料匯入到hbase資料的過程中，發現hbase的資料容量增加很快，

原本在mysql儲存30G容量的資料匯入到hbase一直增加到快150G（還未完全匯入，手動結束），

而採用預設3個備份儲存的話，基本上真箇叢集有450G的容量。

查看了一些資料，發現hbase的儲存確實耗空間，一般hbase採用壓縮演算法來解決，其中snappy

的演算法收到Google的推崇，而且CDH中，直接安裝了snappy的庫，所以直接用了。

hbase> disable ‘test‘hbase> alter ‘test‘, {NAME => ‘cf‘, COMPRESSION => ‘SNAPPY‘}hbase> enable ‘test‘

使用後，沒有立即生效，按照一些資料執行major_compact命令後，也沒有發現生效，
但是過了一段時間以後發現表的容量變化了，壓縮前原本150G，壓縮後15G左右（查資料壓縮率最好效果22%左右，這個還沒有大量測試）
效果還比較明顯。

HBase使用壓縮儲存（snappy）