Python分析web訪問日誌

標籤：Python分析web訪問日誌

Python分析web訪問日誌

1. 通用日誌格式
   127.0.0.1 - - [14/May/2017:12:45:29 +0800] "GET /index.html HTTP/1.1" 200 4286
   遠程 - - 主機 IP 請求時間 時區 方法 資源 協議 狀態代碼 發送位元組

2. 組合日誌格式
   127.0.0.1 - - [14/May/2017:12:51:13 +0800] "GET /index.html HTTP/1.1" 200 4286 "http://127.0.0.1/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36"
   遠程主機 IP - - 請求時間 時區 方法 資源 協議 狀態代碼 發送位元組 referer 字元 瀏覽器資訊

Web訪問日誌樣本

分析
? 按天統計
o 每天日誌行數
o 每天瀏覽每個 IP 的訪問次數
o 每天訪問者數量 = 每天出現 IP 組成集合的數量
o 每天狀態代碼出現次數
o 每天流量總數
? 總統計
o 總日誌行數 = 每天日誌行數之和
o 總訪問者數量 = 所有出現 IP 組成的集合數量
? 地區分布
o 所有出現 IP 的訪問次數 排序取 TOP20
o 根據 IP 尋找地理位置

代碼

Python分析web訪問日誌