常見搜尋引擎蜘蛛大全

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

百度 baidu.com----Baiduspider

HTTP://www.baidu.com/search/spider.htm

谷歌 google.com----Googlebot

HTTP://www.google.com/bot.html 中文版請打開以下頁面

HTTP://www.google.cn/support/webmasters/bin/topic.py?topic=8843

雅虎 yahoo.com----Yahoo

HTTP://misc.yahoo.com.cn/help.html 打開後跳轉到以下頁面

HTTP://help.cn.yahoo.com/property.html?product=websearch

有道 yodao.com----YodaoBot

HTTP://www.yodao.com/help/webmaster/spider/

搜搜 soso.com----Sosospider/Sosoimagespider(網頁蜘蛛/圖片蜘蛛)

HTTP://help.soso.com/webspider.htm

HTTP://help.soso.com/soso-image-spider.htm

搜狗 sogou.com----sogou

HTTP://www.sogou.com/docs/help/webmasters.htm#07

微軟 msn.com----msnbot

HTTP://search.msn.com/msnbot.htm 打開後跳轉到以下頁面

HTTP://help.live.com/help.aspx?mkt=zh-cn&project=wl_webmasters

以下是幾只收穫(抓取頁面)不勞動(不來流量)的蜘蛛 可以考慮禁了它們爬行 省空間流量

國外搜尋引擎

gigablast.com----Gigabot

HTTP://www.gigablast.com/spider.html

國外搜尋引擎

webalta.net----WebAlta

HTTP://www.webalta.net/ru/about_webmaster.html

國內的一個實驗室的

apex.sjtu.edu.cn