大資料學習之BigData常用演算法和資料結構

標籤：大資料   big data   資料結構   演算法   

1.Bloom Filter

由一個很長的二進位向量和一系列hash函數組成

優點：可以減少IO操作，省空間

缺點：不支援刪除，有誤判

如果要支援刪除操作： 改成計數布隆過濾器

2.SkipList（跳錶）

核心思路： 由多層組成，每層都是一個有序鏈表，最底層包含所有元素，元素數逐層遞減。每個節點包含兩個指標，一個->,一個向下。

並行編程情況下可以用鎖或者CAS操作。

CAS:

compare and swap，解決多線程並行情況下使用鎖造成效能損耗的一種機制，CAS操作包含三個運算元——記憶體位置（V）、預期原值（A）和新值(B)。如果記憶體位置的值與預期原值相匹配，那麼處理器會自動將該位置值更新為新值。否則，處理器不做任何操作。無論哪種情況，它都會在CAS指令之前返回該位置的值。CAS有效地說明了“我認為位置V應該包含值A；如果包含該值，則將B放到這個位置；否則，不要更改該位置，只告訴我這個位置現在的值即可。

用CAS實現的插入：

void insert(Node *prev, Node *node) {while (true) {node->next = prev->next;if (__sync_compare_and_swap(&prev->next, node->next, node)) {return;}}}

3.LSM樹（Log-Structured Merge-Tree)與B+樹相比，犧牲部分讀效能，大幅提高寫效能。宗旨：把大量隨機寫改為批量序列寫。
在記憶體中維護多個小的有序結構，在尋找時要二分遍曆這些結構，不斷把小樹合并為大樹，進行批量插入。為了最佳化尋找，可以使用Bloom Filter。（判斷小結構中有沒有目標資料）

4.HashTree用於快速定位海量資料中少量變化的內容對每一項資料進行Hash，多項組合之後再Hash，再Hash，最後到Top Hash。

5.Cuckoo雜湊使用兩個雜湊函數H1（X）和H2（X），插入X時，同時計算H1（X）和H2(X)，如果任意一個桶為空白，將X插入相應位置，如果都滿了，選一個桶把y踢掉，放入X,對y執行上述過程。設定最大替換次數，達到次數時增大桶的數量或者重選Hash函數。

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

大資料學習之BigData常用演算法和資料結構