SEO機器人如何辨識

搜尋引擎派出他們的搜尋機器人去訪問、索引網站內容，網站管理員也預設、歡迎它們
來訪。但是由於搜尋引擎派機器人來訪會在一定程度上影響網站效能，因此並非所有的機器
人都是無害的，有一些非法機器人偽裝成主流搜尋引擎漫遊器對網站大量遍曆，並且不遵循
robots.txt規範，會嚴重拖垮網站效能而又無其它益處。因此，網站管理員需要驗證每個機器
人身份是否合法。 
在你的伺服器記錄檔中，可見每次訪問的路徑和相應的IP地址，如果是機器人來訪，
則user-agent會顯示Googlebot或MSNBot等搜尋引擎漫遊器名稱，每個搜尋引擎都有自己的
user-agent，但僅有這個還不足以證明這個機器人的合法性，因為很多垃圾製造者可能將他
們的機器人也命名為Googlebot，以偽裝矇混進入網站，大肆採掘內容。 
目前，主流搜尋引擎都建議的網站管理員通過這種方式來辨別真實的機器人身份：通過
DNS反向查詢找出搜尋引擎機器人IP地址對應的主機名稱；用主機名稱尋找IP地址以確認該主
機名與IP地址匹配。 
首先，使用DNS反向查詢（Reverse DNS Lookup），找出機器人IP地址對應的主機名稱。
主流搜尋引擎的主機名稱通常情況下應是這樣的： 
  Google ： 主機名稱應包含於 googlebot.com 網域名稱中，如：
crawl-66-249-66-1.googlebot.com； 
  MSN ：主機名稱應包含於 search.live.com 網域名稱中，如：

livebot-207-46-98-149.search.live.com； 
  Yahoo： 主機名稱應包含於inktomisearch.com網域名稱中，如： ab1164.inktomisearch.com。  
最後，做一次DNS查詢，用主機名稱尋找IP地址（Forward DNS Lookup），以確認該主機
名與IP地址匹配。由此證明該機器人是合法的。 
現在，如果發現一個機器人將自己偽裝成合法搜尋引擎漫遊器，你就可以通過伺服器上
的設定來阻止這個非法機器人。