文本查重演算法SimHash

標籤：計算   操作   img   ima   比較   blog   提高   抓取   需要   

1.介紹　　

爬蟲採集了大量的文本資料，如何進行去重？可以使用文本計算MD5，然後與已經抓取下來的MD5集合進行比較，但這種做法有個問題，文本稍有不同MD5值都會大相徑庭，

無法處理文本相似問題。另一種方式是本文要介紹的SimHash，這是Google提出的一種局部敏感雜湊演算法，在吳軍老師的《數學之美》裡也有介紹，這種演算法可以將文本降維成一個

數字，極大地減少了去重操作的計算量。SimHash演算法主要分為以下幾個步驟：

  1.分詞，並為每個詞加上權重，代表這個詞在這句話中的重要程度（可以考慮使用TF-IDF演算法）

  2.雜湊，分好每個詞映射為雜湊值

  3.加權，按照單詞的權重形成加權數字串，比如“美國”的hash值為“100101”，通過加權計算為“4 -4 -4 4 -4 4”；“51區”的hash值為“101011”，通過加權計算為 “ 5 -5 5 -5 5 5”。

  4.合并，把上面各個單詞算出來的序列值累加，變成只有一個序列串

  5.降維，如果序列串每一位大於0 記為 1，小於0 記為 0。最後算出結果為：“1 0 1 0 1 1”。

2.SimHash的比較

  根據上面的步驟可以計算出每個文本的一個SimHash值，兩個SimHash的相似性就是通過比較不同二者數位的個數，這叫做海明距離，比如10101 和 00110 ，海明距離

為3。

3.比較效率的提高

 加入我們已經有了一個simhash庫，現在有一個query過來需要查詢是否庫裡存在與這個query海明距離為1到3的文本，如何查詢？

    方式1. 將這個query的海明距離為1到3的結果即時計算出來，然後依次在庫裡尋找，缺點：海明距離為1到3的結果可能有上萬個，逐個查詢效率肯定很低。

    方式2.將庫裡每個simhash海明距離為1到3的結果事先離線計算出來，這樣每個查詢只需要O(1)的複雜度。缺點：需要的儲存空間非常大。

 

待續。。。。

文本查重演算法SimHash