SEO教程：撰寫網站robots檔的五個事項

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

什麼是網站robots?它是是一個協定，而不是一個命令。

作為學習或從事網站SEO優化的朋友肯定知道搜索蜘蛛，但對於這個搜索蜘蛛遵循協定，卻不常聽說。 robots是抓取網站時第一個查看的檔。 它用來告訴編目程式在伺服器空間上什麼檔是可以被抓取的，什麼檔是不需要被抓取的。 也正因如此，用好robots是很容易為讓你的網站提權的，那是如何寫的呢?

1.避免網站存在重複頁

不少網站一個內容提供多種流覽版本，雖然在很大程度方便使用者，提高了使用者體驗度，可對蜘蛛卻造成了些許困難，因為蜘蛛難以識別主次，一旦讓它認為你在惡意重複，那麼輕則降權，重則K站拔毛呀。

User-agent： *

Disallow： /sitemap/ 《禁止蜘蛛抓取文本頁面》

擴展閱讀：《惠州SEO博客K站之謎》 (葉劍輝也曾在博客上線之初也因類似問題而被k，具體可看連結)

2.保護網站安全

或許有些人會有大大的問號。 robots與網站安全怎麼就拉上關係了?這就要說到駭客了，不少低級駭客就是通過搜索預設後臺登陸，以達到入侵網站的目標，因此安全不得不防呀。

User-agent： *

Disallow： /admin/ 《禁止蜘蛛抓取admin目錄下所有檔》

擴展閱讀：《WordPress程式安全設置技巧 》(本人也曾遭受攻擊，因此安全問題哪怕細節也不容忽視，具體可查看葉劍輝博客)

3.防止連結被「盜」用

一般盜鏈的並不多，可是一旦被搜尋引擎「盜鏈」了，那麼百兆寬頻恐怕也吃不消呀，因此若非做圖片網站，又想避免被盜鏈，那麼即可進行遮罩。

User-agent： *

Disallow：.jpg$

4.提交網站地圖

對於現在做網站SEO優化的朋友，都懂得做網站地圖，可總會有那麼些朋友不懂得去提交的，僅僅以為在網頁上加個連結，便完事了。 其實robots是具有提交這一功能的，一下以惠州SEO博客為例。

Sitemap: HTTP://www.huizhouseo.cn/sitemap_baidu.xml

Sitemap: HTTP://www.huizhouseo.cn/sitemap.html (需要注意的是，Sitemap的S需為大寫字母)

5.禁止某次層網域的抓取

一些網站會對會員提供一些VIP特權服務，卻又不想這個服務被搜尋引擎檢索到(同樣的，css及js等二級目錄檔不需要被抓取也可同樣如此)

User-agent： *

Disallow： /

以上5點robots說明，相信也足以讓SEO初學者對搜尋引擎蜘蛛掌控能力提升不少，猶如百度說道，我們與搜尋引擎應該是朋友，如此就少不得增加一些溝通，如此才能消除一些不必要的隔膜，對吧!本文由惠州SEO博客 HTTP:// www.huizhouseo.cn/seojichu/766.html 葉劍輝供稿，轉載請注明!