搜尋引擎優化中robots.txt的妙用

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

對於robots.txt，可能一般人的觀點是可寫可不寫，寫錯了還有麻煩，所以乾脆不寫。 其實，在搜尋引擎優化中，robots.txt有這麼幾個妙用。 現在咱們一一來看下robots.txt的妙用。

1、新站創建的時候引導蜘蛛抓取清單頁。 新站初建，在你的robots.txt寫入網站的欄目位址以便抓取。 示例如下

# HTTP://www.xxxxx.cn/ 網站優化的robots.txt

User-agent: *

Disallow: /

Disallow: /plus/advancedsearch.php

Disallow: /plus/car.php

Disallow: /plus/carbuyaction.php

Disallow: /plus/shops_buyaction.php

Disallow: /plus/erraddsave.php

Disallow: /plus/posttocar.php

Disallow: /plus/disdls.php

Disallow: /plus/feedback_js.php

Disallow: /plus/mytag_js.php

Disallow: /plus/rss.php

Disallow: /plus/search.php

Disallow: /plus/recommend.php

Disallow: /plus/stow.php

Disallow: /plus/count.php

Disallow: /include

Disallow: /templets

採用了dedecms預設的robots.txt，個人感覺還是挺不錯的。

2、遮罩低品質的頁面收錄。 例如，你的一個網頁是動態的頁面，content.asp，通過參數id來獲得不同的內容，而假如你需要增加一個參數style,以便給不同的使用者顯示不同樣式，但是內容相同的頁面，那麼，對於id為1的同一個內容的頁面， 可能會出現好幾個連接

content.asp?id=1

content.asp?id=1&style=red

content.asp?id=1&style=green

對於這些連接而言，內容相同，但是連接不同，就可能導致重複內容的出現，在此，你可以通過robots.txt遮罩重複頁面的收錄，寫法如下

User-agent: *

Disallow: content.asp?id=*&style=*

3、無須向各大搜尋引擎提交sitemap。 谷歌，微軟以及雅虎均已經支援這一robots.txt的擴展寫法。 所以也省了提交sitemap的時間

至於robots.txt的具體寫法，建議還是參照百度給出的指南，十分詳細 HTTP://www.baidu.com/search/robots.html

站長網首發，轉載請請保留 HTTP://www.zzyoua.cn/ 連結。