redis 和 bloom filter

標籤：

今天打算使用redis 的bitset搞一個 bloom filter， 這樣的好處是可以節省記憶體，壞處是可能在會有一些資料因為提示重複而無法儲存。

bloom filter 的大體原理就是通過不同的hash函數將一個字串映射到幾個不同的位，並將這幾個不同的位設定為1.

如果在尋找某個字串的時候，發現通過hash映射後的位有的不為1，說明該字串不存在。

如果發現所有的位都為1，那該字串有一定的機率不存在，通常這個機率會很小。

 

相關內容可以查看：

http://olylakers.iteye.com/blog/2089275

不過上面的是java的，我在github上找了一個python的

http://github.com/jaybaird/python-bloomfilter/

不過這個是基於python的bitarray 的，稍微修改了下，並刪掉了許多東西，讓它變成使用redis的bitset

https://github.com/walkwalkwalk/python_redis_bloomfilter

 

redis 和 bloom filter