Robots檔大掃盲：如何用robots提高網站排名

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

Robots檔是網站和編目程式之間的「君子協定」——robots檔不僅僅可以節省網站的資源，還可以説明蜘蛛更加有效的抓取網，從而提高排名。

1：只允許谷歌bot

如果要攔截除谷歌bot之外的所有爬蟲：

User-agent：*

disallow：/

Uer-agent：允許的蜘蛛名

Disallow：

2：「/folder/」和「/folder」的區別

舉個例子：

User-agent：*

Disallow：/folder/

Disallow：/folder

「Disallow：/folder/」表示攔截的是一個目錄，該目錄檔下的所有檔不允許被抓取，但是允許抓取folder.hlml。

「Disallow：/folder」：對/folder/下的所有檔和folder.html都不能被抓取。

3：「*」匹配任一字元

User-agent：*

表示遮罩所有的蜘蛛。 當我們做了偽靜態處理之後，會同時又動態網頁和靜態網頁，網頁內容一模一樣，視為鏡態頁面，所以我們要遮罩掉動態的網頁，可以用*號來遮罩動態的網頁

User-agent：*

Disallow：/?*?/

4：$匹配網址結束

如果要攔截以某個字串結束的網址，就可以使用$，例如，要攔截以.asp結束的網址：

User-agent：*

Disallow：/*.asp$

也可以打開比較優秀的網站，看他們的robots檔是如何書寫的，然後根據自己的需求進行相應的修改。 Robots檔可以讓蜘蛛把更多的時間花在要抓取的內容上，所以優化robots檔是很有必要的。

本文來自東陽高複：HTTP://mygaofu.com，轉載請注明連結