搜尋引擎原理簡析 不懂搜尋引擎原理的SEOer就是在裸奔

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

不懂搜尋引擎原理的SEOer就是在裸奔。

嗯，在結束廢話之前，再插一句：中國第一個基於網頁索引搜索的搜尋引擎是北大的天網。

好，先上圖來簡單看下搜尋引擎的「三板斧」：資料搜集—>預處理【索引】—>排名。

資料搜集

即資料的搜集階段，將網頁從浩如瀚海的9201.html">互聯網世界搜集到自己的資料庫中進行存儲。

1、抓取維護策略

面對大量需要處理的資料，很多問題需要事先考慮好。 比如是「即時抓取」資料還是「事先抓取」?在對資料進行維護時是「定期抓取」(定期一次深度大抓取，替代原有的資料)還是「增量抓取」(以原有資料為根基，進行新舊交替)?

2、連結跟蹤

我們都知道，蜘蛛是順著連結爬行和抓取頁面的。 如何快速抓取到對使用者來說相對重要的資訊以及達到廣闊的覆蓋無疑是搜尋引擎需要重點考慮的問題。

先來說第一個，怎麼抓取到重要的資訊。

想要知道這個，首頁要明白人們是怎麼樣主觀去判斷一個頁面是否重要的(自己先思考下)。 其實無外乎以下幾種情況：

網頁有歷史權重積累(功能變數名稱等時間較長、品質高、資格老)、很多人會提到這個頁面(外鏈指向)、很多人會引用這個頁面(轉載或者鏡像)、這個頁面便於使用者快速流覽(層級較淺)、經常有新的內容出現(更新)等等。

而在連結跟蹤階段，其實能得到的資訊只有「這個頁面便於使用者快速流覽(層級較淺)」，其它資訊還未獲取。

對於資訊的覆蓋，其實就是蜘蛛在跟蹤連結時的兩個策略：深度抓取與廣度抓取。

用屁股想一下也知道，廣度抓取有助於獲取到更多的資訊，深度抓取有助於得到更全面的資訊。 搜尋引擎蜘蛛在抓取資料時，通常會兩種方式都採用，但是想比較來說，廣度抓取要多於深度抓取。

3、位址庫

搜尋引擎在建立初期，必須是要有一個人工錄入的種子庫的，否則蜘蛛將會在進行連接跟蹤時無從下手。 順著這些種子庫，蜘蛛可以發現更多的連結。

當然，多個搜尋引擎都會放出一個頁面的提交入口，以便於站長將網站進行提交。

不過值得一提的是，搜尋引擎更喜歡自己發現的連結。

4、檔存儲

連結跟蹤完畢，需要將跟蹤到的資訊進行存儲。 存儲的物件，第一是url，第二是頁面內容(檔案大小、最後一次更新時間、HTTP狀態碼、頁面原始程式碼等等)。

關於url，由於上次看到一個泛埠作弊的網站，這裡簡單的提一下。 一個url是由傳輸協議、功能變數名稱、埠、路徑、檔案名等幾部分組成的。

預處理【索引】

資料抓取完畢，就需要進行預處理了(也有很多人喜歡把這一步叫做索引)。 主要會從提取文字、分詞，建立索引，連結分析等幾個方面來進行。

1、提取文字

很好理解的一部，將原始程式碼中的文字提取出來。 當然需要注意的是，這裡面會包括meta資訊以及一些替代文字(例如alt標籤)。

2、分詞

每到這一步，總是想感歎下漢字的博大精深。 啊!啊!啊!

感歎完畢，繼續走起。

分詞是中文特有的一個步驟，即根據句子說要表達的意思將正文進行拆分。 通常情況下，分詞會有基於詞典以及統計學兩種方式。

為了更加有效的進行機器分詞，通常會採用「正向匹配」與「逆向匹配」兩種思路來進行。 值得一提的是，「逆向匹配」的方式更容易獲得更多有價值的資訊(想想為什麼)。

如果你對分詞感興趣，不妨來看一下這篇文章。

需要強調的一點是，為了便於分詞之後的片語可以更好的表達文章的核心意思，會進行去停頓詞(的、啊、嗯之類的詞)以及去噪(導航、版權、分類等對主體意思表達木有影響分的內容)的處理。

3、去重

經過去停頓，去噪之後剩下的片語，已經可以很好的表達出頁面的主體意思了。 為了便於使得內容不被搜尋引擎重複收錄，搜尋引擎需要一個演算法來進行去重處理。

比如比較知名且常用的為MD5演算法，請點選連結到百度百科自行腦補。

4、建立索引

去重完畢，便是一個大家經常說起的正向索引與倒排索引。

5、連結演算法

在此階段，各個頁面之間的連結關係也會被搜集。 為了便於大家回顧上述，哥特地耗費大量心血搞了一個圖。

排名

索引檔建立完畢，離排名就不遠了。

1、搜索詞的處理

搜素引擎會對搜索詞同樣進行分詞處理(想想為什麼)，說到這裡，又不禁想感慨下漢字的博大精深之處。

針對這裡，想補充的是一個叫做文本細微性的概念。 額，為了避免誤認子弟，還是給出百度官方關於此處的解釋。

2、檔匹配與子集選擇

按照百度官方的說法，將使用者搜索的詞進行分詞處理之後，便可以對索引庫進行召回了。 這裡需要考慮到的一點是，使用者查看的往往會是前幾頁的搜尋結果。 所以為了資源計，搜尋引擎往往會只返回部分的結果(百度顯示76頁，谷歌100頁)，即召回的索引庫中的子集檔。

3、相關性計算

通常情況下，會有五種因素會影響到相關系。

關於此部分，也就是大家經常說到的SEO優化手段與方法，這裡就不再贅述了。

4、排名過濾與調整

其實經過相關性計算，結果已經大體確定了。 只是為了懲罰一些有作弊嫌疑的網站，搜尋引擎會在此部分進行結果的微調。

比如百度的11位機制。

5、結果的顯示

深喘一口氣，終於可以看到顯示的結果了。

返回的結果會包含title、描述、快照入口、快照日期、url等幾個方面。

這裡值得一提的是，不只是描述搜尋引擎可以動態抓取，或許在不久的將來，title也會進行動態抓取。

原文位址：HTTP://www.seosos.cn/seo-tips/search-engine-principle.html 。