海量資料處理--bloom filter

標籤：blog   http   strong   檔案   資料   art   ar   log   

例題：給定兩個大檔案，各含有50億條url，要求利用4G記憶體快速找出共同的url

解答：

假設兩個檔案為A和B，4G記憶體有32G位，可以表示5G的url。

本文採用bloom filter解答：

首先簡單介紹一下bloom filter的思想，其核心是：位元組；K個hash函數。

通過對大量資料處理，通過k個hash函數將大量資料壓縮儲存到多個位當中。

尋找的時候，根據K個hash函數的結果，如果有0那麼就不在集合中，如果沒有0那麼就在集合中（可能會誤判）。

 

這道題可以先通過對A處理，然後得到bloom filter，再對B處理，判斷是否重複url。由於通過位壓縮，位元組可以存在記憶體裡，

然後減少檔案訪問次數，能夠加快速度。但是可能會存在誤判。

 

參考下面連結：

http://blog.csdn.net/hguisu/article/details/7866173