php代碼禁止搜尋引擎蜘蛛
其實robots.txt也不是百分之百的可以阻止蜘蛛爬行你的網站，我自己結合某些資料寫了一小段代碼，貌似可以徹底解決這個問題，不對的地方請大家多多指教：
PHP code
if(preg_match("/(Googlebot|Msnbot|YodaoBot|Sosospider|baiduspider|google|baidu|yahoo|sogou|bing|coodir|soso|youdao|zhongsou|slurp|ia_archiver|scooter|spider|webcrawler|OutfoxBot)/i", $_SERVER['HTTP_USER_AGENT'])){ header('HTTP/1.1 403 Forbidden'); exit;}
------解決方案--------------------
LZ的思路我懂了 但是每個檔案都包含這段文字還是首頁包含就好了？
------解決方案--------------------
這招絕
------解決方案--------------------
領教了，滅絕師太
------解決方案--------------------
不錯!!!
不過為什麼要阻止那?蜘蛛們多爬行不是更利於搜尋引擎收錄你的網站,更利於推廣?
------解決方案--------------------
探討
不錯!!!
不過為什麼要阻止那?蜘蛛們多爬行不是更利於搜尋引擎收錄你的網站,更利於推廣?
------解決方案--------------------
探討
有些東西是不希望被搜尋引擎收錄的，比如涉及到郵件地址、電話號碼、姓名等資訊
------解決方案--------------------
這種方式能阻止的都是“友好的蜘蛛”，當然也許這些“友好的蜘蛛”並沒有完全尊重 robots.txt 的指示，但它至少告訴了你“我是××蜘蛛”。
如果是不友好的蜘蛛，這種判斷也就失效了。
