囂張的個人站長：對搜尋引擎說不

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

對於搜尋引擎，極少數先行者對搜尋引擎蜘蛛說不，這其中最為大家熟悉的就是「淘寶遮罩百度蜘蛛」，還有一些交友網站遮罩搜尋引擎蜘蛛，而個人站長，要對搜尋引擎說不是艱難的，更多的站長則將之奉為上賓，而我，一個個人站長， IP不到1000IP，為何也如此囂張，竟然對搜尋引擎說不，眾位看官，聽我慢慢道來。

今天是一個值得高興的日子，起床第一件事，打開電腦，上51yes.com查看網站流量，一看，不得了。

心裡這個爽啊，流量暴漲啊，且慢高興，流量上漲，我是一定要弄明白流量來自哪裡的，不看不知道，一看嚇一跳。

當時心下就涼了一截，這可全是垃圾流量啊，對於使用共用空間的我來說，這可不是什麼好事，唯一的辦法：封!垃圾流量，我要對你說不!

於是立刻改寫robot.txt禁止MSN蜘蛛訪問

在這裡，特別想提醒廣大認真做站，口袋裡又沒有多少銀子的站長，一定要認真審視垃圾流量，那些不會給你帶來任何的收益，只會給你增加額外的負擔，外再閱讀資料訪問報表時的虛榮心!

附常見搜尋引擎蜘蛛名稱：

Google的蜘蛛： Googlebot

百度的蜘蛛：baiduspider

Yahoo的蜘蛛：Yahoo Slurp

MSN的蜘蛛：Msnbot

Altavista的蜘蛛：Scooter

Lycos的蜘蛛： Lycos_Spider_(T-Rex)

Alltheweb的蜘蛛： FAST-WebCrawler/

INKTOMI的蜘蛛： Slurp