孤魂野鬼：搜尋引擎工作流程

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

互聯網是一個寶庫，搜尋引擎是打開寶庫的一把鑰匙。 然而，絕大多數線民在搜尋引擎的相關知識及使用技巧上能力不足。 國外的一次調查結果顯示，約有71%的人對搜索的結果感到不同程度的失望。 作為互聯網的第二大服務，這種狀況應該改變。 互聯網的迅速發展，導致了網上資訊的爆炸性增長。 全球目前的網頁超過20億，每天新增加730萬網頁。 要在如此浩瀚的資訊海洋裡尋找資訊，就像「大海撈針」一樣困難。 搜尋引擎正是為了解決這個「迷航」問題而出現的技術。 搜尋引擎的工作包括如下三個過程：

1.在互聯中發現、搜集網頁資訊;

2.對資訊進行提取和組織建立索引庫;

3.再由檢索器根據使用者輸入的查詢關字，在索引庫中快速檢出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序，並將查詢結果返回給使用者。

發現、搜集網頁資訊

需要有高性能的「網路蜘蛛」程式(Spider)去自動地在互聯網中搜索資訊。 一個典型的網路蜘蛛工作的方式，是查看一個頁面，並從中找到相關資訊, 然後它再從該頁面的所有連結中出發，繼續尋找相關的資訊，以此類推，直至窮盡。 網路蜘蛛要求能夠快速、全面。 網路蜘蛛為實現其快速地流覽整個互聯網，通常在技術上採用搶先式多執行緒技術實現在網上聚集資訊。 通過搶先式多執行緒的使用，你能索引一個基於URL連結的Web頁面，啟動一個新的執行緒跟隨每個新的URL連結，索引一個新的URL起點。 當然在伺服器上所開的執行緒也不能無限膨脹，需要在伺服器的正常運轉和快速收集網頁之間找一個平衡點。 在演算法上各個搜尋引擎技術公司可能不盡相同，但目的都是快速流覽Web頁和後續過程相配合。 目前國內的搜尋引擎技術公司中，比如百度公司的網路蜘蛛採用了可定制、高擴充性的調度演算法使得搜索器能在極短的時間內收集到最大數量的互聯網資訊，並把所 獲得的資訊保存下來以備建立索引庫和使用者檢索。

索引庫的建立

關係到使用者能否最迅速地找到最準確、最廣泛的資訊，同時索引庫的建立也必須迅速，對網路蜘蛛抓來的網頁資訊極快地建立索引，保證資訊的及時性。 對網頁採用基於網頁內容分析和基於超鏈分析相結合的方法進行相關度評價，能夠客觀地對網頁進行排序，從而極大限度地保證搜索出的結果與使用者的查詢串相一致。 新浪搜尋引擎對網站資料建立索引的過程中採取了按照關鍵字在網站標題、網站描述、網站URL等不同位置的出現或網站的品質等級等建立索引庫，從而保證搜索出的結果與使用者的查詢串相一致。 新浪搜尋引擎在索引庫建立的過程中，對所有資料採用多進程並行的方式，對新的資訊採取增量式的方法建立索引庫，從而保證能夠迅速建立索引，使資料能夠得到及時的更新。 新浪搜尋引擎在建立索引庫的過程中還對使用者搜索的查詢串進行跟蹤，並對查詢頻率高的查詢串建立Cache頁。

使用者檢索的過程

這是對前兩個過程的檢驗，檢驗該搜尋引擎能否給出最準確、最廣泛的資訊，檢驗該搜尋引擎能否迅速地給出使用者最想得到的資訊。 對於網站資料的檢索，新浪搜尋引擎採用Client/Server結構、多進程的方式在索引庫中檢索，大大減少了使用者的等待時間，並且在使用者查詢高峰時伺服器的負擔不會過高(平均的檢索時間在0.3秒左右)。 對於網頁資訊的檢索，作為國內眾多入口網站的網頁檢索技術供應商的百度公司其搜尋引擎運用了先進的多執行緒技術，採用高效的搜索演算法和穩定的UNIX平臺，因此可大大縮短對使用者搜索請求的回應時間。 作為慧聰I系列應用軟體產品之一的I-Search2000採用的超大規模動態緩存技術，使一級回應的覆蓋率達到75%以上，獨有的自學習能力可自動將二級回應的覆蓋率擴充到20%以上。

SEO交流群：60477748 轉載請注明：HTTP://www.idc088.com