大資料讀書筆記(1)

標籤：

1. 資料分區與路由

   抽象模型為兩級映射關係，第一級映射是key-partition映射，第二級映射是partition-machine映射。

     資料分區有雜湊分區和範圍分區：

　　雜湊分區只支援點查詢，如cassandra，voltmort，membase；

　　範圍分區支援範圍查詢，google的bigtable 和ms的azure；

　　同時支援兩種的yahoo的pnuts。

2.雜湊分區時進行資料分區的常見手段，其中最常見的3中雜湊分區方式分表是：輪詢、虛擬桶、一致雜湊方法

  2.1 輪詢也稱雜湊模數方法

       　　　　　　　　H(key)=hash(key)modK

　　優點：實現簡單

　　缺點：缺乏靈活性，如新增或者減少一台物理機時需要重新hash

     原因：將key-partition映射和partition-machine映射合二為一了，兩部分都由同一雜湊函數完成，導致了機器和映射函數的緊耦合。

2.2 虛擬桶

　　　　　　

key-partition映射採用雜湊函數，partition-machine採用表格管理實現。

2.3 一致性雜湊

　　分布式雜湊表DHT(distributed hash table)

　　　　　　　　　　　　　　　　　　

3. 範圍分區

     首先將所有記錄的主鍵進行排序，然後在排好序的主鍵空間裡將記錄劃分成資料分區，每個資料分區儲存有序的主鍵空間片段內的所有記錄。

資料分區在物理機的管理方式往往採用LSM樹。

　　　　

 

參考文獻：

【1】http://blog.csdn.net/gdhuyufei/article/details/42101231

 

大資料讀書筆記(1)