Mongodb VS Hbase

轉載：http://hi.baidu.com/i1see1you/blog/item/a8038399d9a777286e068c8a.html

1.Mongodb bson文檔型資料庫，整個資料都存在磁碟中，hbase是列式資料庫，叢集部署時每個familycolumn儲存在單獨的hdfs檔案中。

2.Mongodb 主鍵是“_id”,主鍵上面可以不建索引,記錄插入的順序和存放的順序一樣，hbase的主鍵就是row key，可以是任一字元串(最大長度是 64KB，實際應用中長度一般為 10-100bytes)，在hbase內部，row key儲存為位元組數組。儲存時，資料按照Row key的字典序(byte order)排序儲存。設計key時，要充分排序儲存這個特性，將經常一起讀取的行儲存放到一起。

字典序對int排序的結果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行鍵必須用0作左填充。

3.Mongodb支援二級索引，而hbase本身不支援二級索引

4.Mongodb支援集合尋找，正則尋找，範圍尋找，支援skip和limit等等，是最像mysql的nosql資料庫，而hbase只支援三種尋找：通過單個row key訪問，通過row key的range，全表掃描

5.mongodb的update是update-in-place，也就是原地更新，除非原地容納不下更新後的資料記錄。而hbase的修改和添加都是同一個命令：put，如果put傳入的row key已經存在就更新原記錄,實際上hbase內部也不是更新，它只是將這一份資料已不同的版本儲存下來而已，hbase預設的儲存版本的曆史數量是3。

6.mongodb的delete會將該行的資料標示為已刪除，因為mongodb在刪除記錄時並不是真把記錄從記憶體或檔案中remove，而是將該刪除記錄資料置空（寫0或特殊數字加以標識）同時將該記錄所在地址放到一個list列表“釋放列表”中，這樣做的好就是就是如果有使用者要執行插入記錄操作時，mongodb會首先從該“釋放列表”中擷取size合適的“已刪除記錄”地址返回，這種方法會提升效能（避免了malloc記憶體操作），同時mongodb也使用了bucket size數組來定義多個大小size不同的列表，用於將要刪除的記錄根據其size大小放到合適的“釋放列表”中。Hbase的delete是先建立一個tombstonemarkers，然後讀的時候會和tombstonemarkers做merge，在 發生major compaction時delete的資料記錄才會真真刪除。

7.mongodb和hbase都支援mapreduce，不過mongodb的mapreduce支援不夠強大，如果沒有使用mongodb分區，mapreduce實際上不是並存執行的

8.mongodb支援shard分區，hbase根據row key自動負載平衡，這裡shard key和row key的選取盡量用非遞增的欄位，盡量用分布均衡的欄位，因為分區都是根據範圍來選擇對應的存取server的，如果用遞增欄位很容易熱點server的產生，由於是根據key的範圍來自動分區的，如果key分布不均衡就會導致有些key根本就沒法切分，從而產生負載不均衡。

9.mongodb的讀效率比寫高，hbase預設適合寫多讀少的情況，可以通過hfile.block.cache.size配置，該配置storefile的讀緩衝佔用Heap的大小百分比，0.2表示20%。該值直接影響資料讀的效能。如果寫比讀少很多，開到0.4-0.5也沒問題。如果讀寫較均衡，0.3左右。如果寫比讀多，果斷預設0.2吧。設定這個值的時候，你同時要參考hbase.regionserver.global.memstore.upperLimit，該值是memstore佔heap的最大百分比，兩個參數一個影響讀，一個影響寫。如果兩值加起來超過80-90%，會有OOM的風險，謹慎設定。

10.hbase採用的LSM思想(Log-Structured Merge-Tree)，就是將對資料的更改hold在記憶體中，達到指定的threadhold後將該批更改merge後批量寫入到磁碟，這樣將單個寫變成了批量寫，大大提高了寫入速度，不過這樣的話讀的時候就費勁了，需要merge disk上的資料和memory中的修改資料，這顯然降低了讀的效能。mongodb採用的是mapfile+Journal思想，如果記錄不在記憶體，先載入到記憶體，然後在記憶體中更改後記錄日誌，然後隔一段時間批量的寫入data檔案，這樣對記憶體的要求較高，至少需要容納下熱點資料和索引。