超多IP訪問/robots.txt解決方案

超多IP訪問/robots.txt
apache日誌裡全是這樣的記錄，全是訪問的/robots.txt，而且十多分鐘就有幾萬行。伺服器CPU經常跑到100%。
蜘蛛也不會爬robots.txt這麼頻繁吧。。。大神幫分析下

66.249.65.147 - - [17/Oct/2014:10:14:38 +0100] "GET /robots.txt HTTP/1.1" 200 -
（-是因為我在網站根目錄下建立了個空白的robots.txt。）

------解決思路----------------------
比較奇怪，你確定cpu被佔100%是這個問題？
把robots.txt屏蔽看看。
------解決思路----------------------
robots.txt這個東西只要你編程謹慎沒必要放上，放上了是個累贅，分析一下他的壞處，歡迎拍磚：
1、如果你沒有將背景地址在前台頁面上調用過的話，蜘蛛是不會爬取的，對於css,js這種東西，蜘蛛也不願意爬。
2、很多新手在設定robots.txt的時候都是很乖很聽話，敏感地址放上來屏蔽蜘蛛爬取，其實只要嚴格，蜘蛛爬不到，但是別有用心的人會先看robots.txt一下就找到了管理入口地址。
3、不管哪個蜘蛛跑過來第一個爬的就是robot.txt,佔用了一點資源
你這種情況應該不是robots.txt的原因，這個檔案應該是直接發出去的，到不了100%的情況

