apache伺服器查看網路爬蟲記錄的方法說明

問 ：使用Apache伺服器，如何查看哪些網站的蜘蛛來爬過自己的網站或者哪些IP訪問過我們的網站呢？

答 ：通過Apache伺服器的訪問日誌記錄！
    
      Apache伺服器的訪問日誌名稱在linux下預設叫做access_log，在windows下是access.log檔案

如何配置 ：在httpd.conf檔案中配置這麼兩句話：
             
LogFormat "%h %l %u %t \"%r\" %>s %b" common
CustomLog /home/admin/work/hz-jean/com.jean.deploy/logs/access_log common

第一句話的意思是定義日誌的格式；第二句話是定義日誌的存放地點

舊版本的(2.0以前的)Apache可能不用CustomerLog 而用transferLog

 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\""

TransferLog logs/access_log
   

如何查看訪問日誌 ：

 
 

 
在IP地址查詢中輸入前面的IP ，查詢器就可以幫你查到它的HOSTNAME了，比如百度蜘蛛，或者浙江省電信等



作者 水果硬糖