Python自建logging模組

標籤：ret   rgs   dict   成員函數   div   tle   處理   模組   繼承   

本章將介紹Python內建模組：日誌模組，更多內容請從參考:Python學習指南

簡單使用

最開始，我們用最短的代碼體驗一下logging的準系統。

import logginglogger = logging.getLogger()logging.basicConfig()logger.setLevel('DEBUG')logger.debug('logsomething')#輸出out>>DEBG:root:logsomething

• 第一步，通過logging.getLogger函數，擷取一個loger對象，但這個對象暫時是無法使用的。
  
• 第二步，logging.basicConfig函數，進行一系列預設的配置，包括format、handler等。
  
• 第三步，logger調用setLevel函數定義記錄層級為DEBUG
• 最後，調用debug函數，輸出一條debug層級的message，顯示在了標準輸出上。

logging中的記錄層級

logging在組建記錄檔的時候，有一個記錄層級的機制，預設有以下幾個記錄層級：

CRITICAL = 50ERROR = 40WARNING = 30INFO  20DEBUG = 10NOTEST = 0

每一個logger對象，都有一個記錄層級，它只會輸出高於它level的日誌。如果一個logger的level是INFO，那麼調用logger.debug()是無法輸出日誌的，而logger.warning()能夠輸出。
一般來說，以上的6個記錄層級完全滿足我們日常使用了。

logging中的基礎類

logging是python的一個基礎模組，它在python中的源碼位置如下：

#主幹代碼/usr/lib/python2.7/logging/__init__.py#擴充的handler和config/usr/lib/pyhon2.7/logging/config.py/usr/lib/python2.7/loging/handlers.py

組成logging的主乾的幾個基礎類都在__init__.py中：

第一個基礎類LogRecord

一個LogRecord對象，對應了日誌中的一行資料。通常包含：時間、記錄層級、message資訊、當前執行的模組、行號、函數名...這些資訊都包含在一個LogRecord對象裡。
LogRecord對象可以想象成一個大字典：

class LogRecord(object):    #代表一條日誌的類    def getMessage(self):        #擷取self.msg    def markLogRecord(dict):    #這個方法很重要，產生一個空的LogRecord，然後通過一個字典，直接更新LogReocrd中的成員變數    rv = LogRecord(None, None, "", 0, "", (), None, None)    rv.__dict__.update(dict)    return rv

第二個基礎類Formatter

Formatter對象是用來定義日誌格式的，LogRecord儲存了很多資訊，但是列印日誌的時候我們只需要其中幾個，Formatter就提供了這樣的功能，它依賴於python的一個功能：

#通過字典的方式，輸出格式化字串print('%(name)s:%(num)d'%{'name':'my_name', 'num' : 100})out >>>my_name:100

如果說LogRecord是後面的那個字典，那麼Formatter就是前面的那個格式字串...的抽象

重要的代碼如下：

class Formatter(object):    def __init__(self, fmt=None, datefmt = None):        if fmt:            self._fmt = fmt        else:            #預設的format            self._fmt = "%(message)s"    def format(self, record)        #使用self._fmt進行格式化        s = self._fmt %record.__dict__        return s

第三個基礎類Filter和Filterer

Filter類，功能很簡單。Filter.filter()函數傳入一個LogRecord對象，通過篩選返回1，否則返回0.從代碼中可以看到，其實是對LogRecord.name的篩選。

Filterer類中有一個Filter對象的列表，它是一組Filter的抽象。

重要的代碼如下：

class Filter(object):    def __init__(self, name=''):        self.name = name        self.nlen = len(name)    def filter(self, record):        #返回1表示record通過，0表示record不通過        if self.nlen == 0:            return 1        elif self.name == record.name:            return 1        #record.name不是以filter開頭        elif record.name.find(self.name, 0, self.nlen) != 0:            return 0        #最後一位是否為        return (record.name[self.nlen] == '.')class Filterer(object):    #這個類其實是定義了一個self.filters = []的列表管理多個filter    def addFilter(self, filter):    def removefilter(self, filter):    def filter(self, record):    #使用列表中所有的filter進行篩選，任何一個失敗都會返回0    #例如：        #filter.name = 'A', filter2.name='A.B', filter2.name = 'A, B, C'        #此時record.name = 'A,B,C,D'這樣的record才能通過所有filter的篩選

logging中的進階類

有了以上三個基礎的類，就可以拼湊一些更重要的進階類了，進階類可以實現logging的重要功能。

Handler——抽象了log的輸出過程

• Handler類繼承自Filterer。Handler類時log輸出這個過程的抽象。
  
• 同時Handler類具有一個成員變數self.level,在第二節討論的記錄層級的機制，就是在Handler中實現的。
  
• Handler有一個emit(record)函數，這個函數負責輸出log，必須在Handler的子類中實現。

重要代碼如下：

class Handler(Filterer):    def __init__(self, level = NOTEST)        #handler必須有level屬性        self.level = _checkLevel(level)    def format(self, record):        #使用self.formatter, formattercord    def handler(self, record):        #如果通過filter的篩選，則emit這條log        rv = self.filter(record)        self.emit(record)    def emit(self, record):        #等待子類去實現

接下來看兩個簡單的handler的子類，其中在logging源碼中，有一個handler.py專門定義了很多複雜的handler，有的可以將log緩衝在記憶體中，有的可以將log做rotation等。

StreamHandler
最簡單的handler實現，將log寫入一個流，預設的stream是sys.stderr

重要的代碼如下：

class StreamHandler(Handler):    def __init__(self, stream = None):        if stream is None:            stream = sys.stderr        self.stream = stream    def emit(self, record):        #將record的資訊寫入流        #處理一些編碼的異常        fs = '%s\n' #每條日誌都有換行        stream = self.stream        stream.write(fs%msg)

FileHandler
將log輸出到檔案的handler，繼承StreamHandler

重要代碼如下：

class FileHandler(StreamHandler):    def __init__(self, filename, mode='a')        #append方式開啟一個檔案        StreamHandler.__init__(self, self._open())    def emit(self, record):        #和streamhandler保持一致        StreamHandler.emit(self, record)

Logger——一個獨立的log管道

什麼是logger?
+ logger類繼承自Filterer,
+ logger對象有logger.level記錄層級
+ logger對象控制多個handler:logger.handlers = []
+ logger對象之間存在福字關係

簡單的來說，logger這個類，集中了我們以上所有的LogRecord、Filter類、Formatter類、handler類。首先，logger根據輸入產生一個LogRecord讀寫，經過Filter和Formatter之後，再通過self.handlers列表中的所有handler,把log發送出去。一個logger中可能有多個handler，可以實現把一份log放到任意的位置。

class Logger(Filterer):    def __init__(self, name, level=NOTEST)        #handler列表        self.handlers = []        self.level = _checklevel(level)    def addHandler(self, hdlr):    def removeHandler(self, hdlr):    def _log(self, level, msg, args, exc_info=None, extra=None):        #在_log函數中建立了一個LogRecord對象        record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)        #交給handle函數        self.handle(record)    def handle(self, reord):        #進行filter,然後調用callHandlers        if(not self.disabled) and self.filter(record):            self.callHandlers(record)    def callHandlers(self, record):        #從當前logger到所有的父logger,遞迴的handl傳入的record        c = self        while c:            for hdlr in c.handlers:                hdlr.handle(record)  #進入handler的emit函數發送log            ....            c = c.parent

LoggerAdapter——對標準logger的一個擴充

LogRecord這個大字典中提供的成員變數已經很多，但是，如果在輸出log時候仍然希望能夠夾帶一些自己想要看到的更多資訊，例如產生這個log的時候，調用某些函數去獲得其他資訊，那麼就可以把這些添加到Logger中，LoggerAdapter這個類就起到這個作用。

LoggerAdapter這個類很有意思，如果不做什麼改動，那麼LoggerAdapter類和Logger並沒有什麼區別。LoggerAdapter只是對Logger類進行了一下封裝。

LoggerAdapter的用法其實是在它的成員函數process()的注釋中已經說明了：

def process(self, msg, kwargs):    '''    Normally,you'll only need to overwrite this one method in a LoggerAdapter subclass for your specific needs.    '''

也就是說重寫process函數，以下是一個例子：

import loggingimport randomL=logging.getLogger('name')#定義一個函數，產生0~1000的隨機數def func():    return random.randint(1,1000)class myLogger(logging.LoggerAdapter):    #繼承LoggerAdapter，重寫process，產生隨機數添加到msg前面    def process(self,msg,kwargs):        return '(%d),%s' % (self.extra['name'](),msg)  ,kwargs#函數對象放入字典中傳入  LA=myLogger(L,{'name':func})#now,do some loggingLA.debug('some_loging_messsage')out>>DEBUG:name:(167),some_loging_messsage

參考

python筆記_logging模組（一）
logging代碼
python 日誌封裝
Python中的logging模組

Python自建logging模組