Elyn：搜尋引擎如何像蜜蜂般選擇網站抓取網頁

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

看到一張圖片，是一隻蜜蜂在一朵盛開的花上采蜜。 那麼在大自然中蜜蜂采蜜跟搜尋引擎抓取網頁又有著什麼樣的關聯呢?

蜜蜂在採集花蜜時，對花朵是有選擇的，一般的含苞或者是那些剛剛開放的花，蜜蜂是不進行採集的，它的採摘物件一般都是一些盛開的花蜜或者分泌物含量比較高的花朵。 而搜尋引擎也正如蜜蜂采蜜一樣，對網站也是有選擇性的。

搜尋引擎比較喜歡那些主題與內容相關性較強的，具有實用性與真實性，內容文章豐滿而且有料的網站。 對於那些垃圾站，搜尋引擎一般不聞不問，有些採用黑帽的網站，搜尋引擎直接將之K掉。

那麼，「蜜蜂」是怎麼找到「蜜源」的呢?

一般網站剛建站的時候，建立一個robot.txt檔放在網站的根目錄下面，內部優化完成之後將網站提交到各個搜尋引擎的提交入口。 搜尋引擎訪問網站時查看的第一個檔就是robot.txt。 Robots.txt檔告訴編目程式在伺服器上可以看哪些檔。 當蜘蛛訪問一個網站時，首先檢查這個網站的根目錄下是否存在robots.txt，如果存在，蜘蛛就會按照該檔中的內容來確定訪問的範圍;如果該檔不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。 當然要讓搜尋引擎找到你的主頁，必須要有外鏈，找到你的主頁之後才能根據你網站的結構爬到更深的地方，一般樹狀結構深受蜘蛛喜愛，並且網頁之間要有比較好的連接，從而使得搜尋引擎可以沿著連結找到更多的網頁。

「采蜜」的過程

一.搜尋引擎看網站的結構設計

大家都知道一個網站的結構決定了一個網站的方向與面向的市場有多大，網站的結構是基礎的，只有在良好的基礎上才能讓網站的技術很好的發揮出來。 一般搜尋引擎喜愛樹狀的網站結構，能非常好的將我那個站的內容與內容的層次表現出來。 而且，使用者在訪問網站的時候能夠更好的找到資訊，根據網站內部的一些連結，輕鬆的獲取。

二.搜尋引擎看網站內容是否是原創及偽原創內容

看網站內容是否是從別的網站轉載或者直接的複製粘貼，搜尋引擎對原創的文章特別的喜愛，如果是發表一些高品質的原創文章，搜尋引擎會立馬收錄。 針對不同的人，選擇的方向也是不一樣的，有些SEOer剛學習不久，可以先進行偽原創，偽原創也是需要技術含量的，偽原創的好，搜尋引擎也會很友好的收錄。 等到對SEO技術有了自己一定的見解，可以寫一些比較有技術含量的原創文章。

三.搜尋引擎看網站更新的頻率

網站的內容是否有每日更新，更新的內容是否具有品質都是搜尋引擎評價一個網站的一部分。 網站更新的越頻繁，蜘蛛也就爬的越來越勤快，網站的文章收錄也會隨著增加。

四.搜尋引擎看網站的權重

在搜尋引擎看網站是否有被收錄，看收錄條列有多少，收錄越多，說明網站的權重越高，而且如果網站如果持續更新的話，權重也是隨著不斷增加。

本文固定連結: HTTP://www.nbseoer.com/archives/1708