仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳
大家好，我是Jrasy，剛剛有一篇文章精准的介紹了我從事SEO行業4年來的所有經驗， 最後特別提到了一個關於robots.txt的問題，不管這個檔對於一個網站的影響有多大，我個人覺的我都有必要先告訴對這個檔有興趣的人，這個檔要怎麼寫。
robots.txt很簡單，是非常非常簡單。 有的人不懂robots是什麼，有什麼用?
robots就是一個必須放在網站根目錄、讓搜索蜘蛛讀取的txt檔，檔案名必須是小寫的"robots.txt"。 通過robots.txt可以控制SE收錄內容，告訴蜘蛛哪些檔和目錄可以收錄，哪些不可以收錄。
在這裡說明下，如果在網站目錄下加了這個檔，搜尋引擎會認為你是一個比較正規標準的站。
搜尋引擎會對你有個好印象，我的論壇就有ROBOTS檔，有個前輩曾經還告訴過我，ROBOTS檔會對網站的關鍵字有影響，具體也沒說的太清楚，例如我給我的學員用來做教程用的一個網站，ROBOTS檔是程式本來就帶的， 也沒發現什麼問題，更不用說對關鍵字有什麼影響，切入整體，ROBOTS檔如何寫!
用幾個最常見的情況，直接舉例說明：
1. 允許所有SE收錄本站：robots.txt為空就可以，什麼都不要寫。
2. 禁止所有SE收錄網站的某些目錄：
User-agent: *
Disallow: /目錄名1/
Disallow: /目錄名2/
Disallow: /目錄名3/
3. 禁止某個SE收錄本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收錄本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路徑。
ROBOTS的潛力到底有多大? Jrasy有時間再跟大家討論，
轉載請注明，本問轉自紅客家園論壇 www.52hack.com
Start building with 50+ products and up to 12 months usage for Elastic Compute Service
1 on 1 presale consultation
24/7 Technical Support 6 Free Tickets per Quarter Faster Response
Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.
A comprehensive suite of global cloud computing services to power your business
Payment Methods We Support
