詳解python的幾種標準輸出重新導向方式,python重新導向
一. 背景
在Python中,檔案對象sys.stdin
、sys.stdout
和sys.stderr
分別對應解譯器的標準輸入、標準輸出和標準出錯流。在程式啟動時,這些對象的初值由sys.__stdin__
、sys.__stdout__
和sys.__stderr__
儲存,以便用於收尾(finalization)時恢複標準流對象。
Windows系統中IDLE(Python GUI)由pythonw.exe,該GUI沒有控制台。因此,IDLE將標準輸出控制代碼替換為特殊的PseudoOutputFile對象,以便指令碼輸出重新導向到IDLE終端視窗(Shell)。這可能導致一些奇怪的問題,例如:
Python 2.7.11 (v2.7.11:6d1b6a68f775, Dec 5 2015, 20:32:19) [MSC v.1500 32 bit (Intel)] on win32Type "copyright", "credits" or "license()" for more information.>>> import sys>>> for fd in (sys.stdin, sys.stdout, sys.stderr): print fd<idlelib.PyShell.PseudoInputFile object at 0x0177C910><idlelib.PyShell.PseudoOutputFile object at 0x0177C970><idlelib.PyShell.PseudoOutputFile object at 0x017852B0>>>> for fd in (sys.__stdin__, sys.__stdout__, sys.__stderr__): print fd<open file '<stdin>', mode 'r' at 0x00FED020><open file '<stdout>', mode 'w' at 0x00FED078><open file '<stderr>', mode 'w' at 0x00FED0D0>>>>
可以發現,sys.__stdout__
與sys.stdout
取值並不相同。而在普通的Python解譯器下(如通過Windows控制台)運行上述代碼時,兩者取值相同。
print語句(statement)不以逗號結尾時,會在輸出字串尾部自動附加一個分行符號(linefeed);否則將一個空格代替附加的分行符號。print語句預設寫入標準輸出資料流,也可重新導向至檔案或其他可寫對象(所有提供write方法的對象)。這樣,就可以使用簡潔的print語句代替笨拙的object.write('hello'+'\n')
寫法。
由上可知,在Python中調用print obj列印對象時,預設情況下等效於調用sys.stdout.write(obj+'\n')
樣本如下:
>>> import sys>>> print 'Hello World'Hello World>>> sys.stdout.write('Hello World')Hello World
二. 重新導向方式
本節介紹常用的Python標準輸出重新導向方式。這些方法各有優劣之處,適用於不同的情境。
2.1 控制台重新導向
最簡單常用的輸出重新導向方式是利用控制台命令。這種重新導向由控制台完成,而與Python本身無關。
Windows命令提示字元(cmd.exe)和Linux Shell(bash等)均通過">"或">>"將輸出重新導向。其中,">"表示覆蓋內容,">>"表示追加內容。類似地,"2>"可重新導向標準錯誤。重新導向到"nul"(Windows)或"/dev/null"(Linux)會抑制輸出,既不屏顯也不存檔。
以Windows命令提示字元為例,將Python指令碼輸出重新導向到檔案(為縮短篇幅已刪除命令間空行):
E:\>echo print 'hello' > test.pyE:\>test.py > out.txtE:\>type out.txthelloE:\>test.py >> out.txtE:\>type out.txthellohelloE:\>test.py > nul
注意,在Windows命令提示字元中執行Python指令碼時,命令列無需以"python"開頭,系統會根據指令碼尾碼自動調用Python解譯器。此外,type命令可直接顯示文字檔的內容,類似Linux系統的cat命令。
Linux Shell中執行Python指令碼時,命令列應以"python"開頭。除">"或">>"重新導向外,還可使用tee命令。該命令可將內容同時輸出到終端螢幕和(多個)檔案中,"-a"選項表示追加寫入,否則覆蓋寫入。樣本如下(echo $SHELL
或echo $0
顯示當前所使用的Shell):
[wangxiaoyuan_@localhost ~]$ echo $SHELL/bin/bash[wangxiaoyuan_@localhost ~]$ python -c "print 'hello'"hello[wangxiaoyuan_@localhost ~]$ python -c "print 'hello'" > out.txt[wangxiaoyuan_@localhost ~]$ cat out.txthello[wangxiaoyuan_@localhost ~]$ python -c "print 'world'" >> out.txt[wangxiaoyuan_@localhost ~]$ cat out.txt helloworld[wangxiaoyuan_@localhost ~]$ python -c "print 'I am'" | tee out.txtI am[wangxiaoyuan_@localhost ~]$ python -c "print 'xywang'" | tee -a out.txtxywang[wangxiaoyuan_@localhost ~]$ cat out.txtI amxywang[wangxiaoyuan_@localhost ~]$ python -c "print 'hello'" > /dev/null[wangxiaoyuan_@localhost ~]$
若僅僅想要將指令碼輸出儲存到檔案中,也可直接藉助會話視窗的日誌抓取功能。
注意,控制台重新導向的影響是全域性的,僅適用於比較簡單的輸出任務。
2.2 print >>重新導向
這種方式基於print語句的擴充形式,即"print obj >> expr
"。其中,obj
為一個file-like(尤其是提供write方法的)對象,為None時對應標準輸出(sys.stdout)。expr
將被輸出到該檔案對象中。
樣本如下:
memo = cStringIO.StringIO(); serr = sys.stderr; file = open('out.txt', 'w+')print >>memo, 'StringIO'; print >>serr, 'stderr'; print >>file, 'file'print >>None, memo.getvalue()
上述代碼執行後,屏顯為"serr"和"StringIO"(兩行,注意順序),out.txt檔案內寫入"file"。
可見,這種方式非常靈活和方便。缺點是不適用於輸出語句較多的情境。
2.3 sys.stdout重新導向
將一個可寫對象(如file-like對象)賦給sys.stdout,可使隨後的print語句輸出至該對象。重新導向結束後,應將sys.stdout恢複最初的預設值,即標準輸出。
簡單樣本如下:
import syssavedStdout = sys.stdout #儲存標準輸出資料流with open('out.txt', 'w+') as file: sys.stdout = file #標準輸出重新導向至檔案 print 'This message is for file!'sys.stdout = savedStdout #恢複標準輸出資料流print 'This message is for screen!'
注意,IDLE中sys.stdout
初值為PseudoOutputFile對象,與sys.__stdout__
並不相同。為求通用,本例另行定義變數(savedStdout)儲存sys.stdout
,下文也將作此處理。此外,本例不適用於經由from sys import stdout
匯入的stdout對象。
以下將自訂多種具有write()
方法的file-like對象,以滿足不同需求:
class RedirectStdout: #import os, sys, cStringIO def __init__(self): self.content = '' self.savedStdout = sys.stdout self.memObj, self.fileObj, self.nulObj = None, None, None #外部的print語句將執行本write()方法,並由當前sys.stdout輸出 def write(self, outStr): #self.content.append(outStr) self.content += outStr def toCons(self): #標準輸出重新導向至控制台 sys.stdout = self.savedStdout #sys.__stdout__ def toMemo(self): #標準輸出重新導向至記憶體 self.memObj = cStringIO.StringIO() sys.stdout = self.memObj def toFile(self, file='out.txt'): #標準輸出重新導向至檔案 self.fileObj = open(file, 'a+', 1) #改為行緩衝 sys.stdout = self.fileObj def toMute(self): #抑制輸出 self.nulObj = open(os.devnull, 'w') sys.stdout = self.nulObj def restore(self): self.content = '' if self.memObj.closed != True: self.memObj.close() if self.fileObj.closed != True: self.fileObj.close() if self.nulObj.closed != True: self.nulObj.close() sys.stdout = self.savedStdout #sys.__stdout__
注意,toFile()
方法中,open(name[, mode[, buffering]])
調用選擇行緩衝(無緩衝會影響效能)。這是為了觀察中間寫入過程,否則只有調用close()
或flush()
後輸出才會寫入檔案。內部調用open()方法的缺點是不便於使用者定製寫檔案規則,如模式(覆蓋或追加)和緩衝(行或全緩衝)。
重新導向效果如下:
redirObj = RedirectStdout()sys.stdout = redirObj #本句會抑制"Let's begin!"輸出print "Let's begin!"#屏顯'Hello World!'和'I am xywang.'(兩行)redirObj.toCons(); print 'Hello World!'; print 'I am xywang.'#寫入'How are you?'和"Can't complain."(兩行)redirObj.toFile(); print 'How are you?'; print "Can't complain."redirObj.toCons(); print "What'up?" #屏顯redirObj.toMute(); print '<Silence>' #無屏顯或寫入os.system('echo Never redirect me!') #控制台屏顯'Never redirect me!'redirObj.toMemo(); print 'What a pity!' #無屏顯或寫入redirObj.toCons(); print 'Hello?' #屏顯redirObj.toFile(); print "Oh, xywang can't hear me" #該串寫入檔案redirObj.restore()print 'Pop up' #屏顯
可見,執行toXXXX()語句後,標準輸出資料流將被重新導向到XXXX。此外,toMute()
和toMemo()
的效果類似,均可抑制輸出。
使用某對象替換sys.stdout
時,盡量確保該對象接近檔案對象,尤其是涉及第三方庫時(該庫可能使用sys.stdout的其他方法)。此外,本節替換sys.stdout
的代碼實現並不影響由os.popen()、os.system()
或os.exec*()
系列方法所建立進程的標準I/O流。
2.4 上下文管理器(Context Manager)
本節嚴格意義上並非新的重新導向方式,而是利用Pyhton上下文管理器最佳化上節的代碼實現。藉助於上下文管理器文法,可不必向重新導向使用者暴露sys.stdout
。
首先考慮輸出抑制,基於上下文管理器文法實現如下:
import sys, cStringIO, contextlibclass DummyFile: def write(self, outStr): pass@contextlib.contextmanagerdef MuteStdout(): savedStdout = sys.stdout sys.stdout = cStringIO.StringIO() #DummyFile() try: yield except Exception: #捕獲到錯誤時,屏顯被抑制的輸出(該處理並非必需) content, sys.stdout = sys.stdout, savedStdout print content.getvalue()#; raise #finally: sys.stdout = savedStdout
使用樣本如下:
with MuteStdout(): print "I'll show up when <raise> is executed!" #不屏顯不寫入 raise #屏顯上句 print "I'm hiding myself somewhere:)" #不屏顯
再考慮更通用的輸出重新導向:
import os, sysfrom contextlib import contextmanager@contextmanagerdef RedirectStdout(newStdout): savedStdout, sys.stdout = sys.stdout, newStdout try: yield finally: sys.stdout = savedStdout
使用樣本如下:
def Greeting(): print 'Hello, boss!'with open('out.txt', "w+") as file: print "I'm writing to you..." #屏顯 with RedirectStdout(file): print 'I hope this letter finds you well!' #寫入檔案 print 'Check your mailbox.' #屏顯with open(os.devnull, "w+") as file, RedirectStdout(file): Greeting() #不屏顯不寫入 print 'I deserve a pay raise:)' #不屏顯不寫入print 'Did you hear what I said?' #屏顯
可見,with內嵌塊裡的函數和print語句輸出均被重新導向。注意,上述樣本不是安全執行緒的,主要適用於單線程。
當函數被頻繁調用時,建議使用裝飾器封裝該函數。這樣,僅需修改該函數定義,而無需在每次調用該函數時使用with語句包裹。樣本如下:
import sys, cStringIO, functoolsdef MuteStdout(retCache=False): def decorator(func): @functools.wraps(func) def wrapper(*args, **kwargs): savedStdout = sys.stdout sys.stdout = cStringIO.StringIO() try: ret = func(*args, **kwargs) if retCache == True: ret = sys.stdout.getvalue().strip() finally: sys.stdout = savedStdout return ret return wrapper return decorator
若裝飾器MuteStdout的參數retCache為真,外部調用func()
函數時將返回該函數內部print輸出的內容(可供屏顯);若retCache為假,外部調用func()
函數時將返回該函數的傳回值(抑制輸出)。
MuteStdout裝飾器使用樣本如下:
@MuteStdout(True)def Exclaim(): print 'I am proud of myself!'@MuteStdout()def Mumble(): print 'I lack confidence...'; return 'sad'print Exclaim(), Exclaim.__name__ #屏顯'I am proud of myself! Exclaim'print Mumble(), Mumble.__name__ #屏顯'sad Mumble'
在所有線程中,被裝飾函數執行期間,sys.stdout
都會被MuteStdout裝飾器劫持。而且,函數一經裝飾便無法移除裝飾。因此,使用該裝飾器時應謹慎考慮情境。
接著,考慮建立RedirectStdout裝飾器:
def RedirectStdout(newStdout=sys.stdout): def decorator(func): def wrapper(*args,**kwargs): savedStdout, sys.stdout = sys.stdout, newStdout try: return func(*args, **kwargs) finally: sys.stdout = savedStdout return wrapper return decorator
使用樣本如下:
file = open('out.txt', "w+")@RedirectStdout(file)def FunNoArg(): print 'No argument.'@RedirectStdout(file)def FunOneArg(a): print 'One argument:', adef FunTwoArg(a, b): print 'Two arguments: %s, %s' %(a,b)FunNoArg() #寫檔案'No argument.'FunOneArg(1984) #寫檔案'One argument: 1984'RedirectStdout()(FunTwoArg)(10,29) #屏顯'Two arguments: 10, 29'print FunNoArg.__name__ #屏顯'wrapper'(應顯示'FunNoArg')file.close()
注意FunTwoArg()
函數的定義和調用與其他函數的不同,這是兩種等效的文法。此外,RedirectStdout裝飾器的最內層函數wrapper()
未使用"functools.wraps(func)"
修飾,會丟失被裝飾函數原有的特殊屬性(如函數名、文檔字串等)。
2.5 logging模組重新導向
對於代碼量較大的工程,建議使用logging模組進行輸出。該模組是安全執行緒的,可將日誌資訊輸出到控制台、寫入檔案、使用TCP/UDP協議發送到網路等等。
預設情況下logging模組將日誌輸出到控制台(標準出錯),且只顯示大於或等於設定的記錄層級的日誌。記錄層級由高到低為CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET
,預設層級為WARNING。
以下樣本將日誌資訊分別輸出到控制台和寫入檔案:
import logginglogging.basicConfig(level = logging.DEBUG, format = '%(asctime)s [%(levelname)s] at %(filename)s,%(lineno)d: %(message)s', datefmt = '%Y-%m-%d(%a)%H:%M:%S', filename = 'out.txt', filemode = 'w') #將大於或等於INFO層級的日誌資訊輸出到StreamHandler(預設為標準錯誤)console = logging.StreamHandler()console.setLevel(logging.INFO) formatter = logging.Formatter('[%(levelname)-8s] %(message)s') #屏顯即時查看,無需時間console.setFormatter(formatter)logging.getLogger().addHandler(console)logging.debug('gubed'); logging.info('ofni'); logging.critical('lacitirc')
通過對多個handler設定不同的level參數,可將不同的日誌內容輸入到不同的地方。本例使用在logging模組內建的StreamHandler(和FileHandler),運行後螢幕上顯示:
[INFO ] ofni[CRITICAL] lacitirc
out.txt檔案內容則為:
2016-05-13(Fri)17:10:53 [DEBUG] at test.py,25: gubed2016-05-13(Fri)17:10:53 [INFO] at test.py,25: ofni2016-05-13(Fri)17:10:53 [CRITICAL] at test.py,25: lacitirc
除直接在程式中設定Logger、Handler、Formatter等外,還可將這些資訊寫入設定檔。樣本如下:
#logger.conf###############Logger###############[loggers]keys=root,Logger2F,Logger2CF[logger_root]level=DEBUGhandlers=hWholeConsole[logger_Logger2F]handlers=hWholeFilequalname=Logger2Fpropagate=0[logger_Logger2CF]handlers=hPartialConsole,hPartialFilequalname=Logger2CFpropagate=0###############Handler###############[handlers]keys=hWholeConsole,hPartialConsole,hWholeFile,hPartialFile[handler_hWholeConsole]class=StreamHandlerlevel=DEBUGformatter=simpFormatterargs=(sys.stdout,)[handler_hPartialConsole]class=StreamHandlerlevel=INFOformatter=simpFormatterargs=(sys.stderr,)[handler_hWholeFile]class=FileHandlerlevel=DEBUGformatter=timeFormatterargs=('out.txt', 'a')[handler_hPartialFile]class=FileHandlerlevel=WARNINGformatter=timeFormatterargs=('out.txt', 'w')###############Formatter###############[formatters]keys=simpFormatter,timeFormatter[formatter_simpFormatter]format=[%(levelname)s] at %(filename)s,%(lineno)d: %(message)s[formatter_timeFormatter]format=%(asctime)s [%(levelname)s] at %(filename)s,%(lineno)d: %(message)sdatefmt=%Y-%m-%d(%a)%H:%M:%S
此處共建立三個Logger:root,將所有日誌輸出至控制台;Logger2F,將所有日誌寫入檔案;Logger2CF,將層級大於或等於INFO的日誌輸出至控制台,將層級大於或等於WARNING的日誌寫入檔案。
程式以如下方式解析設定檔和重新導向輸出:
import logging, logging.configlogging.config.fileConfig("logger.conf")logger = logging.getLogger("Logger2CF")logger.debug('gubed'); logger.info('ofni'); logger.warn('nraw')logger.error('rorre'); logger.critical('lacitirc')logger1 = logging.getLogger("Logger2F")logger1.debug('GUBED'); logger1.critical('LACITIRC')logger2 = logging.getLogger()logger2.debug('gUbEd'); logger2.critical('lAcItIrC')
運行後螢幕上顯示:
[INFO] at test.py,7: ofni[WARNING] at test.py,7: nraw[ERROR] at test.py,8: rorre[CRITICAL] at test.py,8: lacitirc[DEBUG] at test.py,14: gUbEd[CRITICAL] at test.py,14: lAcItIrC
out.txt檔案內容則為:
2016-05-13(Fri)20:31:21 [WARNING] at test.py,7: nraw2016-05-13(Fri)20:31:21 [ERROR] at test.py,8: rorre2016-05-13(Fri)20:31:21 [CRITICAL] at test.py,8: lacitirc2016-05-13(Fri)20:31:21 [DEBUG] at test.py,11: GUBED2016-05-13(Fri)20:31:21 [CRITICAL] at test.py,11: LACITIRC
三. 總結
以上就是關於Python標準輸出的重新導向方式的全部內容,希望對學習python的朋友們能有所協助,如果有疑問歡迎大家留言討論。