threading和queue監控兩個log的python指令碼

標籤：

# coding:utf-8

__author__ = ‘admin‘

# --------------------------------

# Created by admin  on 2015/5/29.

# ---------------------------------

#/usr/bin/python

import redis,re,subprocess,threading,Queue

host="192.168.8.137"

wiki_log="/home/nginx/logs/wiki.log"

other_log="/home/nginx/logs/other.log"

_popen={}

queue=Queue.Queue()

#擷取log的一行資料

def get_one_line(logpath):

    "get one line from log,logpath mast be a str"

    global  _popen,state

    if not _popen.has_key(logpath):

        _popen[logpath]=subprocess.Popen("tail -f %s"%(logpath,),stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)

    a=_popen[logpath].stdout.readline()

    return a

#擷取一次訪問的IP

def get_guest_ip_info(log):

    "get guest ip,this fun return a string"

    while 1:

        info=get_one_line(log)

        ip=re.match("^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}",info)

        return ip.group()

def ip_count():

     global  queue

     r = redis.Redis(host=host, port=6379, db=0)

     while 1:

         item=queue.get()

         if not r.exists(item[0]):

             r.zadd(item[0],item[1],1)

         else:

             #直接寫也可以，不存在key值的話會自動建立

             r.zincrby(item[0],item[1],1)

def start_thread(target,args):

    "start a theard"

    t=threading.Thread(target=target,args=args)

    #加上setDaemon(True)的話，主線程不等待子線程結束就關閉所有線程，所有在子線程裡print調試的內容都不會再前台顯示出來

    # t.setDaemon(True)

    t.start()

def put_ip(log_name,log):

    global  queue

    while 1:

        ip=get_guest_ip_info(log)

        queue.put([log_name,ip])

def handle():

    #為避免put_ip陷入死迴圈（while 1：）無法執行後面的代碼，所以每個函數都用一個線程單獨運行。

    #target目標函數不能帶括弧，args為空白時，用（）表示，一個參數時用（agrs，）表示

    start_thread(put_ip,("wiki",wiki_log))

    start_thread(put_ip,("other",other_log))

    start_thread(ip_count,())

def main():

    #主線程

    start_thread(handle,())

if __name__ == ‘__main__‘:

    main()

  

#放到後台運行ps -ef |grep python 可以看到
#python ip_count.py &
#遠端連線到192.168.8.137查看
#redis-cli -h 192.168.8.137
#keys "wiki"
#ZRANGE wiki 0 -1 withscores

threading和queue監控兩個log的python指令碼