淺談Robots.txt 檔給網站帶來的好處

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

作為一名網站優化人員， 我們都很清楚Robots.txt檔對我們網站的重要性，Robots.txt檔只是一個純文字檔，它就像網站地圖一樣，給搜尋引擎指明道路，當蜘蛛搜索一個網站時，它首先爬行來檢查該網站的根目錄下是否存在Robots.txt檔，如果存在的話， 搜尋引擎會按照該檔的內容來確定訪問範圍，如果該檔不存在的話，那麼搜尋引擎就會沿著連結來抓取。 那麼程式師在設置Robots.txt檔時候應該瞭解到這個檔給我們網站帶來了哪些好處?

第一， Robots.txt檔大大節省伺服器寬頻

我們都知道像email retrievers、image strippers這類搜尋引擎都耗用大量寬頻，而且對網站沒有什麼太大的意義， 而通過Robots.txt就可以制止不必要的爬行工作，如果你的網站是圖片站的話，沒有設置好Robots.txt檔的話，就會浪費大量的伺服器寬頻。

第二、方便搜尋引擎爬起工作

如果你的網站內容豐富，頁面很多， 設置Robots.txt檔更為重要，比如你有個網站，整個站有50多個G，打開頁面可能會比較慢，如果不配置好Robots.txt檔的話，蜘蛛爬行工作就會很費力，而且如果太多的蜘蛛爬行，以至會影響你網站的正常訪問。

第三、robots.txt檔可以制止搜尋引擎索引頁面

你可以通過RobotS.txt檔對你的網站非公開頁面進行制止蜘蛛爬行，如果你的網站幕後程式、管理程式很重要不想讓別人看到、 那麼你可以通過Robots.txt進行設置，事實上，對於某些在運行中產生臨時頁面的網站來說，如果沒有配置Robots.txt檔的話，搜尋引擎甚至會索引那些暫存檔案。

第四、robots.txt對網站地圖連結重要性

如果我們把自己的網站地圖連結放在robots.txt檔裡，那麼我們每天就不用到各個搜尋引擎的站長工具或者相似的站長部分去提交自己的sitemap檔，各大搜尋引擎都發佈了對網站地圖的新的支援方式，就是在robots.txt檔裡直接包括si temap檔的連結。 目前對此表示支援的搜尋引擎公司有Google， Yahoo，而中文搜尋引擎公司，顯然不在這個圈子內。

這樣做的好處就是我們可以不用每天去各大搜尋引擎去提交自己的sitemap檔，可以減少我們的一部分工作量，何樂而不為呢?

轉載時注：本文章來源徐州招聘。