網站優化的第一堂課 理解蜘蛛是怎樣工作的

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

作為一名網站優化從業者，竟然不理解蜘蛛是怎麼工作的，這樣的優化，肯定是事倍功半，理解蜘蛛才應該是網站優化從業者的第一堂課。

上週末，應一個公司邀請，去給他們做搜尋引擎優化(Seo)的相關培訓，以及技能效果的提升。 那是我最不願看見的事情，他們的Seo人員每天的工作還停留在偽原創和發外鏈兩個階段。 我大致看了下他們的優化效果，domain相關域達到一萬多，但是最終的效果很不理想。 我看完之後，只覺得這個成本太高了，不做也罷。

這裡很多Seo高手，都知道外鏈和內容。 這些用不到我們分享，今天只講蜘蛛。 因為，這是我在給他們公司培訓的時候發現的一個很嚴重的問題：他們都聽說過蜘蛛，知道蜘蛛是幹什麼的，但是不知道蜘蛛是怎麼工作的。

一、蜘蛛的來路有哪些，它是怎麼到你的網站的

通常來說，蜘蛛的可以通過三種途徑到達你的網站，分別是主要提交網站，通過在其他網站的連接跟蹤到你的網站，有一定規律的自由行動。

很多人都說現在蜘蛛很智慧不用提交網站了，其實錯了，是因為你在其他網站發佈的外鏈引來的蜘蛛。 這兩種形式都是可操作的，最後一種比較特別，我們通常會認為蜘蛛會按照1-0，a-z 這樣的方式對功能變數名稱進行掃描，然後進入其中的網站。

二、最大程度的利用你的Robots，這是網站大門

按照常規的說法，Robots檔是限制蜘蛛在你網站的活動範圍，更好的保護網站擁有者的權利和隱私。 這是蜘蛛到達一個網站後要做的第一件事情，如果一個網站沒有該檔，蜘蛛則認為是該網站所有的內容均可挖掘。

在Robots檔中，一般只用到禁止(Disallow)。 其實你還可以用推薦允許(Allow)。 一個網站中有很多暗角是蜘蛛不能爬行到的，這時候，你可以用Allow指引蜘蛛，你可以多做一些地圖頁面，讓蜘蛛在上面活動。

也有人說，為什麼要用Allow,直接使用Sitemap不就可以了麼。 我們都知道，其實大家更看重的Sitemap，谷歌是完全沒問題的，而百度蜘蛛理解起來是有一定問題的，不能很好的發揮他的作用。

三、蜘蛛在一個網站域內(domain)的活動方式

相信大家都看過百度給出的《搜尋引擎優化指南》，鄭州智啟網路科技推薦沒有看到的Seo們一看要去看看，他上面有提到自己更推薦的Url方式，樹形和扁平。 你只知道這樣有助於優化，卻不知道為什麼這麼做。

蜘蛛在一個特定域內遵循兩個原則，廣度和深度。 其中我們認為廣度優先，蜘蛛一般不會在一個特定域內在縱深上爬行太多。 蜘蛛會在一個頁面出來完成的時候再進入下一個內鏈資訊豐富的頁面。 做成頻道頁和清單頁，能夠讓蜘蛛更順暢的去爬行一個網站。

其實不一定非要把一個網站做成domain/url_a/ 這種形式，也完全可以是domain/url_a.html 只要你的頁面豐富程度和上一個一樣就行。 這裡說的豐富不是內容，是內鏈。

四、蜘蛛在一個網站的許可權等同于一個普通未註冊會員

這個簡單提一下，蜘蛛就等同于一個網站的未註冊會員，他的許可權就是這個，如果你的網站不對未註冊會員開放，或者設置了隱私許可權，只對會員的好友，或者其他什麼，那麼蜘蛛是不可能抓取到你的內容的。

這也是，外鏈發佈要做到多樣性的重要原因之一，讓蜘蛛從更多不同的角度去理解你的網站。 本文由鄭州智啟網路科技網站建設部(HTTP://www.ezhiqi.com/?list-1169.html)原創，轉載請保留，鄭州智啟網路科技希望能夠説明更多鄭州的企業和個人理解互聯網，使用互聯網，在互聯網上發展壯大。