菜鳥SEOer淺談robots.txt檔

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

做SEO應該知道，robots.txt檔是一個網站必不可少的檔，但小馬看到在很多中小企業的網站上還是沒有這個檔，今天我們便來研究一下robots.txt檔的重要性。

一：從搜尋引擎角度

當我們網站上有一些檔不想被搜尋引擎蜘蛛抓取時， 我們需要寫個robots.txt檔，以此來告訴蜘蛛，這些檔不能被抓取，但是有的企業認為自己網站上沒有不想蜘蛛抓取的內容，所以就忽略了robots.txt檔，那麼，這樣是不對的。

隨著搜尋引擎越來越智慧化，它訪問一個新網站時， 會首先訪問這個網站的robots.txt檔，這也成為搜尋引擎蜘蛛訪問網站時的一個習慣，這個時候，如果你的網站上沒有robots.txt這個檔，反而可能會造成搜尋引擎蜘蛛對你的網站頁面不能正常的抓取。 所以小馬建議，即使你的網站內容全都允許搜尋引擎蜘蛛抓取，你也應該建立一個robots.txt檔，這代表的是對搜尋引擎蜘蛛的友好。

二：時常檢查robots.txt檔

每當我們在做網站的維護時，我們總是圍著網站內容和網站外鏈轉悠，每當我們的網站出現問題，我們首先就是對這些地方進行一一排查，而對於robots.txt檔，估計除了當初建立網站時寫過外，已經好久都沒搭理過了，這樣是不對的。

當一個駭客攻入我們的網站，它不需要在我們的網站上掛上黑鏈，鏈上黃賭毒網站，也不需要在我們的內容頁加上指向它網站的隱藏連結， 它只需要修改一下我們小小的robots.txt檔，就可以搞定我們了，經常看到有些人在搜尋引擎上查詢自己網站的收錄時，發現出現了異常，於是開始排查，但是外鏈和內鏈都沒有問題，這個時候，急的真是焦頭爛額。 這就是忽視了最簡單而且最重要的因素----robots.txt檔。

三：寫robots.txt檔要全面

robots.txt檔寫作時也是需要規範的，不然就如同虛設，比如我們的網站上有的頁面時動態化位址，我們知道這些動態化位址搜尋引擎蜘蛛不能很好的抓取，於是我們在robots.txt檔裡注明，有些SEOer在注明時會在第二行這樣寫：Disal low：/*?*，這就是不全面的。

我們都知道動態化網址的結尾都是有好多參數的，如?,%等，所以當我們不希望搜尋引擎蜘蛛抓取動態網址的頁面時，我們就要在robots.txt檔裡注明自己網站動態化網址出現的所有參數。 不然，搜尋引擎蜘蛛還是能夠抓取我們網站的動態化網址，我們的robots.txt檔就如同虛設。

文章出自SEO技巧博客HTTP://www.waszj.com/鄉村小馬原創，轉載請注明出處及作者