python實現apahce網站日誌分析樣本

維護指令碼一例，寫得有點亂，只是作為一個執行個體，示範如何快速利用工具快速達到目的：
應用到：shell與python資料互動、資料抓取，編碼轉換

代碼如下:

#coding:utf-8
#!/usr/bin/python
'''
程式說明:apache access.log日誌分析
分析訪問網站IP 來源情況
日期:2014-01-06 17:01
author:gyh9711

程式說明：應用到：shell與python資料互動、資料抓取，編碼轉換
'''
import os
import json
import httplib
import codecs

LogFile='/var/log/apache2/access.log'
#日誌
logMess='/tmp/acc.log'
if os.path.isfile(logMess):
os.system('cp /dev/null %s'% logMess)
file=codecs.open(logMess,'w+',encoding='utf-8')

def cmd(cmd):
return os.popen(cmd).readlines()
'''
def getIp(ip):
return json.loads(os.popen("/usr/bin/curl http://ip.taobao.com/service/getIpInfo.php?ip=%s" % ip).readline())['data']
'''
conn = httplib.HTTPConnection('ip.taobao.com')
def getIpCountry(ip):
conn.request('GET','/service/getIpInfo.php?ip=%s' % ip)
r1=conn.getresponse()
if r1.status == 200:
return json.loads(r1.read())['data']
else:
return "Error"
#將access.log檔案進行分析，並轉為python數組
file.write(u"欄位說明:ip 訪問次資料 ip國家 城市的 isp號 省份 所在地區\n")
ipDb=[]
for i in cmd('''/usr/bin/awk '{print $1}' %s |sort |uniq -c''' % LogFile):
ip = i.strip().split(' ')
ipDb.append(ip)
#通過taobao 提供介面分析ip地址來源
for i in ipDb:
_tmpD=getIpCountry(i[1])
#格式說明：ip 訪問次資料 ip國家 城市的 isp號 省份 所在地區
out="%s%s%s%s%s%s%s"%(i[1].ljust(20),i[0].ljust(10),_tmpD['country'].ljust(20),_tmpD['city'].ljust(16),_tmpD['isp_id'].ljust(16),_tmpD['region'].ljust(16),_tmpD['area'].ljust(16))
print out
file.write("%s\n"%out)

conn.close()
file.close()

'''

'''

