Bloom filter/Bitmap

使用範圍：實現資料字典，進行資料的判重，集合求交集
基本原理：基於bitmap，bitmap中用一個bit位來表示一個數字，而Bloom filter是用多個bit位是否同時存在來判定元素是否存在。它的實現用到了位元組和k個hash函數，存入一個元素時，用k個hash函數分別求值，並將相應的bit位置1，當尋找的時候，根據k個hash值，到k個位置尋找，如果k個位置都存在，表明該元素存在，如果有一個bit位不存在表明元素不存在。很明顯這個過程並不保證尋找結果是百分百正確。同時它也不支援刪除一個已經插入的關鍵字，因為該關鍵字對應的位會牽動其它的關鍵字，一個簡單的改進是使用counting bloom filter,用一個counter數組來替換位元組，就可以支援刪除了。還有一個比較重要的問題，如何根據輸入元素個數n，確定位元組m的大小以及 hash函數個數k. 當hash函數個數k=(ln2)*(m/n)時錯誤率最小，在錯誤率不大於E的情況下，m至少要等於n*lg(1/E)才能表示任意n個元素的集合，因為要保證bit數組裡至少一半為0，則應該滿足m>=n*lg(1/E) * lge,大概就是n*lg(1/E)的1.44倍(lg表示以2為底的對數)

舉個例子，我們假設錯誤率為0.01，則此時m應該大概是n的13倍，k大概是8個

注意m是以bit為單位，而n則是以元素個數為單位，通常單個元素的長度都是有很多bit的，所以使用Bloom filter通常很節省記憶體

擴充：Counting bloom filter將數組中的每一位擴充為一個counter，從而支援了元素的刪除操作，而Spectral Bloom Filter將其與幾何元素的出現次數慣量，
SBF採用counter中的最小值來近似表示元素出現的頻率