布隆過濾器(Bloom Filter)的Java實現方法_java

布隆過濾器原理很簡單：就是把一個字串雜湊成一個整數key，然後選取一個很長的位元序列，開始都是0，在key把此位置的0變為1；下次進來一個字串，雜湊之後的值key，如果在此位元位上的值也是1，那麼就說明這個字串存在了。

如果按照上面的做法，那就和雜湊演算法沒有什麼區別了，雜湊演算法還有重複的呢。

布隆過濾器是將一個字串雜湊成多個key，我還是按照書上的說吧。

先建立一個16億二進位常量，然後將這16億個二進位位全部置0。對於每個字串，用8個不同的隨機產生器（F1,F2,.....,F8）產生8個資訊指紋(f1,f2,....,f8).再用一個隨機數產生器G把這八個資訊指紋映射到1到16億中的8個自然數g1,g2,...,g8。現在把這8個位置的二進位位全部變為1。這樣一個布隆過濾器就建好了。

那麼如何檢測一個字串是否已經存在了呢？

現在用8個隨機數產生器（F1,F2,...,F8）對這個字串產生8個資訊指紋s1,s2,...,s8，然後將這8個資訊指紋對應到布隆過濾器的8個二進位位，分別是T1,T2,...,T8.如果字串存在，那麼顯然T1,T2,...,T8對應的二進位位都應該是1。就是這樣來判斷字串是否已經存在的。

其實布隆過濾器就是對雜湊演算法的一個擴充，既然本質是雜湊，那麼就肯定會有不足，也就是說，肯定會有誤判，一個字串明明沒有出現過而布隆過濾器判斷出現了，雖然可能性很小，但是確實存在。

那麼如何減少這種機率呢，首先可以想到的是如果將8個資訊指紋擴充到16個錯誤的機率肯定會降低，但是也要考慮到，這樣的話，那麼一個布隆過濾器所能儲存的字串數量也降低了1倍；另外就是選取很好的雜湊函數，對字串的雜湊方法有很多種，其中不乏很好的雜湊函數。

布隆過濾器主要運用在過濾惡意網址用的，將所有的惡意網址建立在一個布隆過濾器上，然後對使用者的訪問的網址進行檢測，如果在惡意網址中那麼就通知使用者。這樣的話，我們還可以對一些常出現判斷錯誤的網址設定一個白名單，然後對出現判斷存在的網址再和白名單中的網址進行匹配，如果在白名單中，那麼就允許存取。當然這個白名單不能太大，也不會太大，布隆過濾器錯誤的機率是很小的。有興趣的讀者可以去查閱，布隆過濾器的錯誤率。

下面給出Java版的布隆過濾器源碼：

import java.util.BitSet;  /**  *  * @author xkey  */ public class BloomFilter {    private static final int DEFAULT_SIZE = 2 << 24;//布隆過濾器的位元長度   private static final int[] seeds = {3,5,7, 11, 13, 31, 37, 61};//這裡要選取質數，能很好的降低錯誤率   private static BitSet bits = new BitSet(DEFAULT_SIZE);   private static SimpleHash[] func = new SimpleHash[seeds.length];    public static void addValue(String value)   {     for(SimpleHash f : func)//將字串value雜湊為8個或多個整數，然後在這些整數的bit上變為1       bits.set(f.hash(value),true);   }      public static void add(String value)   {     if(value != null) addValue(value);   }      public static boolean contains(String value)   {     if(value == null) return false;     boolean ret = true;     for(SimpleHash f : func)//這裡其實沒必要全部跑完，只要一次ret==false那麼就不包含這個字串       ret = ret && bits.get(f.hash(value));     return ret;   }      public static void main(String[] args) {     String value = "www.jb51.net";     for (int i = 0; i < seeds.length; i++) {       func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);     }     add(value);     System.out.println(contains(value));   } }  class SimpleHash {//這玩意相當於C++中的結構體    private int cap;   private int seed;    public SimpleHash(int cap, int seed) {     this.cap = cap;     this.seed = seed;   }    public int hash(String value) {//字串雜湊，選取好的雜湊函數很重要     int result = 0;     int len = value.length();     for (int i = 0; i < len; i++) {       result = seed * result + value.charAt(i);     }     return (cap - 1) & result;   } } 

總結：布隆過濾器是對雜湊演算法的一種創新，而且需要消耗的空間也很小，錯誤率很低。總之這種創新的思路很值得學習，是一種對bit這種資料類型的運用。

以上這篇布隆過濾器(Bloom Filter)的Java實現方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支援雲棲社區。