總結站長在robots.txt檔中常犯幾個的錯誤

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

Robots檔看起來很簡單，只有幾行字元，但是作為搜尋引擎進入我們網站後第一個訪問的物件，其扮演的角色確是至關重要的。 這幾行字元中蘊含著很多的小細節。 如果我們忽視這些小細節的話，robots檔不僅不能成為網站發展的踏腳石，更將可能成為影響網站發展的絆腳石，可以不客氣的說一著不慎，經可能滿盤皆輸。 下面筆者將在下文中根據三個案例分析我們寫robots時因為不注重細節而引發的不可承受的「痛」。

問題一：語句的先後順序顛倒

我們先來分析一段雖然很簡單，但是被廣泛應用的語句：

User-agent: *

Allow: /

Disallow: /1234/

從這三段robots語句中我們不能看出這原本的書寫目的是要讓搜尋引擎不要爬行1234目錄下面的頁面，而其他的頁面則沒有限制。 而事實上這段語句的執行效果與我們的目的是背道而馳的，為什麼呢?分析後你會發現搜尋引擎蜘蛛對於robots檔的讀取順序是從上到下的，如果你這麼寫的話這將會造成遮罩語句失去原有的效力，修改的方法是將兩者乾坤大挪移， 將Disallow: /1234/與Allow: /位置對調就能實現我麼想要的效果

問題二：遮罩網站的某一個頁面時，漏掉斜杠「/」

我們也經常使用robots遮罩某一個敏感的不想搜尋引擎爬行的頁面，而在這條語句上我們也有很多細節想要注意，舉個例子， 假如加入我們想要遮罩為于根目錄下的登陸頁面login.asp這一頁面，有的站長可能會這麼寫：Disallow: login.asp，這乍一看沒什麼問題，但是筆者想要問一下你想要遮罩的這個頁面是位於什麼目錄的? 是根目錄或者是一級二級目錄的?如果我們忽略前面的斜杠，搜尋引擎蜘蛛無法知道該頁面在哪裡。 修改的方法是：Disallow: /login.asp，這樣才能真正的遮罩位於根目錄下面的login.asp這一登陸頁面。

問題三：遮罩網站的整個目錄後，漏掉斜杠「/」

除了遮罩單個頁面，我想大多數站長更常使用的是遮罩整個目錄。 同樣舉個案例，比如我們想遮罩網站的某一個目錄，如/seo/這一目錄下面的頁面，有的人可能會這樣寫Disallow: /seo。 這樣寫是否正確呢?這樣寫不進有錯，而且錯很大，造成的危害也很大。 我們這樣雖然可以遮罩掉/seo/這一目錄下面的所有想幹頁面。 但是也會波折到其他不相關的頁面，這也將遮罩開頭為/seo的所有頁面。 其發揮的作用就如同是Disallow: /seo*。 修改的方法很簡單，即在我們需要遮罩的目錄名稱後不要漏了斜杠，如Disallow: /seo/。

Robots檔可以保護我們的網站的一些檔不被搜尋引擎抓取，同時也可以提升搜搜引擎的抓取效率。 但是如果我們不注意細節的話，不僅得不到效果，還往往會適得其反。 希望本文對於大家在寫robots檔時有所説明。 文章由南京網路公司HTTP://www.cootem.com/ 原創，轉載請保留我們的位址。