python實現simhash演算法執行個體

Simhash的演算法簡單的來說就是，從海量文本中快速搜尋和已知simhash相差小於k位的simhash集合，這裡每個文本都可以用一個simhash值來代表，一個simhash有64bit，相似的文本，64bit也相似，論文中k的經驗值為3。該方法的缺點如優點一樣明顯，主要有兩點，對於短文本，k值很敏感；另一個是由於演算法是以空間換時間，系統記憶體吃不消。

代碼如下:

#!/usr/bin/python
# coding=utf-8
class simhash:

#建構函式
def __init__(self, tokens='', hashbits=128):
self.hashbits = hashbits
self.hash = self.simhash(tokens);

#toString函數
def __str__(self):
return str(self.hash)

#產生simhash值
def simhash(self, tokens):
v = [0] * self.hashbits
for t in [self._string_hash(x) for x in tokens]: #t為token的普通hash值
for i in range(self.hashbits):
bitmask = 1 << i
if t & bitmask :
v[i] += 1 #查看當前bit位是否為1,是的話將該位+1
else:
v[i] -= 1 #否則的話,該位-1
fingerprint = 0
for i in range(self.hashbits):
if v[i] >= 0:
fingerprint += 1 << i
return fingerprint #整個文檔的fingerprint為最終各個位>=0的和

#求海明距離
def hamming_distance(self, other):
x = (self.hash ^ other.hash) & ((1 << self.hashbits) - 1)
tot = 0;
while x :
tot += 1
x &= x - 1
return tot

#求相似性
def similarity (self, other):
a = float(self.hash)
b = float(other.hash)
if a > b : return b / a
else: return a / b

#針對source產生hash值 (一個可變長度版本的Python的內建散列)
def _string_hash(self, source):
if source == "":
return 0
else:
x = ord(source[0]) << 7
m = 1000003
mask = 2 ** self.hashbits - 1
for c in source:
x = ((x * m) ^ ord(c)) & mask
x ^= len(source)
if x == -1:
x = -2
return x

if __name__ == '__main__':
s = 'This is a test string for testing'
hash1 = simhash(s.split())

s = 'This is a test string for testing also'
hash2 = simhash(s.split())

s = 'nai nai ge xiong cao'
hash3 = simhash(s.split())

print(hash1.hamming_distance(hash2) , " " , hash1.similarity(hash2))
print(hash1.hamming_distance(hash3) , " " , hash1.similarity(hash3))

