交流一下Robots的作用和常見的問題

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

首先在這裡鼇述一下Robots的作用，它可以用來幹什麼。 Robots是網站和搜尋引擎之間的一個協定。 用來防止搜尋引擎抓取那些我們不想被搜尋引擎索引的內容。 我們可以用它來保護一些隱私的內容，遮罩死連結和無內容頁面和重複頁面。

這個協定對所有的搜尋引擎對有效，它不是一個命令，而是一個指令，它不會馬上生效，短的幾天就可以生效，時間長的4周以上才能生效。 谷歌相對於百度來說，生效時間較快一些;常見語法的定義：User-agent:定義搜尋引擎。 如果想定義所有搜尋引擎請用*;Disallow:禁止搜尋引擎抓取，「/」表示根目錄，代表網站的所有目錄。 Allow: 是允許的意思，這裡只簡單的做一下描述，具體的操作寫法請參考百度文庫;下面來談一下常見的問題和用法。

一，遮罩死連結

死連結是網站不能避免的難題，如果被搜尋引擎收錄了，這樣的死連結勢必會影響使用者體驗，這個時候就需要對這個頁面進行robots遮罩。 常見的幾種錯誤如下：

1，站內錯誤，網站的操作人員出現誤操作或者刪除某些具體頁面。

2，程式錯誤，因為網站改版，更換程式造成的死連結。

3，外鏈引起的死連結，通常是由於輸入錯誤而導致形成你網站的死連結。

二，遮罩無內容頁面和重複頁面

1，無內容頁面和重複頁面會嚴重影響站內頁面的品質，如果站記憶體在大量的這種無意義和重複的頁面就會造成網站的降權;比如一些註冊頁面，登陸頁面，會話ID，載入頁面，商城的購物藍頁面，這些都要進行遮罩。

2，遮罩多路徑的同一個頁面，很多網站的首頁都會存在這樣一個問題，舉例說明一下，當陽熱線：www.***.net,這個網址是常用的登錄方式，因為程式和路徑不統一的原因，造成首頁有二個路徑都被收錄，www.***.net/ index.php,類似這樣的，我們就要給網站統一一個標準的入口，直接用robots進行遮罩操作。

SEO本來就是一個積累的過程，以上的幾點，希望對新手站長朋友對網站進行優化有所説明，上面沒有詳細說明Robots的具體寫法，具體寫法可以查看百度Robots優化指南;這裡只對它的作用和用途進行了說明，希望可以查缺補漏吧。 感謝www.444100.net站長投稿!