社會化搜尋與推薦淺析-大資料下的即時搜尋

本文由larrylgq編寫，轉載請註明出處：http://blog.csdn.net/larrylgq/article/details/7399237

作者:呂桂強

郵箱：larry.lv.word@gmail.com

 

當我們的資料大到一定的程度，無法通過RDBMS來處理時一般的做法是使用RPC/http+索引伺服器+資料庫來實現

通常的做法是：

使用cron等定期到資料庫拉取資料，傳輸到索引伺服器，索引伺服器會建立到排索引，而業務機通過RPC/http來訪問索引伺服器，直接進行關鍵字模糊比對消耗是驚人的，所以

一般都會進行關鍵字的首碼冗餘，正常我們看到的進行關鍵字首碼冗餘的做法是通過Trie樹（Aho-Corasick演算法）等來實現。

這個演算法的好處就是

1：將公用首碼合在一起，避免空間浪費

2：計算量最大為樹的廣度*搜尋單詞的長度

但是為了進行即時搜尋trie樹還是太慢了，我們需要一種更快的找到匹配關鍵字的方法：雜湊加鏈表

當儲存關鍵字的時候，對關鍵字進行首碼冗餘並排序存放如：

這樣當我們可以快速的通過hash值找到使用者輸入值的位置，在這個基礎上向下尋找既可以找到匹配的關鍵字

*有關hash的介紹http://blog.csdn.net/larrylgq/article/details/7383527 

但是相比Trie來說也有一個缺點就是儲存空間會變大