Python的subprocess子進程和管道進行互動

在很久以前，我寫了一個系列，Python和C和C++的互動，如下

http://blog.csdn.net/marising/archive/2008/08/28/2845339.aspx

目的是解決Python和C/C++的互通性的問題，假如效能瓶頸的地方用C來寫，而一些外圍工作用Python來完成，豈不是完美的結合。

今天發現了更方便的方式，就是用subprocess模組，建立子進程，然後用管道來進行互動，而這種方式在shell中非常普遍，比如：cat xxx.file | test.py 就是用的管道，另外，在hadoop中stream模式就是用的管道。

其實在python中，和shell指令碼，其他程式互動的方式有很多，比如：

os.system(cmd)，os.system只是執行一個shell命令，不能輸入、且無返回

os.open(cmd)，可以互動，但是是一次性的，調用都少次都會建立和銷毀多少次進程，效能太差

 

所以，建議用subprocess，但是subprocess複雜一些，可以參考python docs：

http://docs.python.org/library/subprocess.html

 

先看一個簡單的例子，調用ls命令，兩者之間是沒有互動的：

import subprocess<br />p = subprocess.Popen('ls') 

再看在程式中擷取輸出的例子：

import subprocess<br />p = subprocess.Popen('ls',stdout=subprocess.PIPE)<br />print p.stdout.readlines() 

再看看有輸入，有輸出的例子，父進程發送'say hi'，子進程輸出 test say hi，父進程擷取輸出並列印

 

#test1.py<br />import sys<br />line = sys.stdin.readline()<br />print 'test',line<br />#run.py<br />from subprocess import *<br />p =Popen('./test1.py',stdin=PIPE,stdout=PIPE)<br />p.stdin.write('say hi/n')<br />print p.stdout.readline()<br />#result<br />test say hi 

看看連續輸入和輸出的例子

test.py

import sys<br />while True:<br /> line = sys.stdin.readline()<br /> if not line:break<br /> sys.stdout.write(line)<br /> sys.stdout.flush() 

run.py

import sys<br />from subprocess import *<br />proc = Popen('./test.py',stdin=PIPE,stdout=PIPE,shell=True)<br />for line in sys.stdin:<br /> proc.stdin.write(line)<br /> proc.stdin.flush()<br /> output = proc.stdout.readline()<br /> sys.stdout.write(output) 

注意，run.py的flush和test.py中的flush，要記得清空緩衝區，否則程式得不到正確的輸入和輸出

 

C/C++的類似，虛擬碼如下

char* line = new char[2048];<br />while (fgets(line, 2028, stdin)) {<br /> printf(line);<br /> fflush(stdout);//必須清空緩衝區<br />} 

 

Popen其他參數的設定，請參考python docs。