大資料處理初窺

 當處理大規模資料時，例如進行全文檢索搜尋，近似重複項搜尋，資料採礦等工作時，RDBMS往往不能滿足我們的需求了。那麼我們應該怎麼做呢？ 一種解決方案是：利用批處理從RDBMS中取出資料，建立索引伺服器再讓web應用程式通過RPC（Remote Procedure Call）或者web API（HTTP + JSON)進行查詢。

   我們稱上述方法為“特殊用途索引”。建立特殊索引後就能處理RDBMS難以處理的事情。RDBMS是通用系統，能夠進行資料排序、統計處理、JOIN等，其目的多種多樣，如果僅為了特定目的，那麼專門對資料結構進行調優，就會比RDBMS快得多。搜尋用的倒排索引就是最典型的例子，索引之前先進行自然語言處理方法處理，無須查詢RDBMS中全部資料，就能瞬間實現尋找。

特殊用途索引：

   定期取出資料

       根據取出的資料建立資料結構

           搜尋用的逆向索引

           關鍵字連結用的Trie等

   用C++開發儲存結構化資料的伺服器，通過RPC或者WEB API訪問。

   RDBMS->資訊搜尋

• 用批處理獲得關係型資料庫中的資料

• 建立倒排索引，使用搜尋演算法