由於CPython實現中的GIL的限制,python中的多線程其實並不是真正的多線程,如果想要充分地使用多核CPU的資源,在python中大部分情況我們需要使用多進程。 這也許就是python中多進程類庫如此簡潔好用的原因所在。在python中可以向多線程一樣簡單地使用多進程。
一 多進程
process的成員變數和方法:
>>class multiprocessing.Process([group[, target[, name[, args[, kwargs]]]]]) 來的定義類似於threading.Thread。target表示此進程啟動並執行函數,args和kwargs表示target的參數。
>>name, pid
分別表示進程的名字,進程id。
>> daemon成員
daemon標誌位bool變數,需要在start()調用前設定。daemon的初始值是從父進程繼承而來。當一個進程結束的時候,它嘗試去結束它的所有的daemon子進程。
注意:
daemon進程不允許建立子進程。否則當daemon進程結束的時候它的子進程不能被結束。
這裡的daemon不是Unix的daemon進程,當父進程結束的時候所有的daemon子進程也將被終止(對於非daemon進程,父進程不等待非daemon的紫子進程,除非顯示地對非daemon子進程使用join()方法)。
>> exitcode
如果進程還沒有退出,則為None,如果正確的退出則為0,如果有錯誤則為>0的錯誤碼,如果進程為終止則為-1*singal。
>> start(), is_live(), terminate()
start()用來啟動進程,is_live()用來查看進程的狀態,terminate()用來終止進程。
>> run()
可以在process的子類中重載run()方法,從而設定進程的任務。重載process是構造新進程的另一種方式,一定程度上上等價於process的target參數。
multiprcessing的靜態方法:
>> multiprocessing.cpu_count()
用來獲得當前的CPU的核心數,可以用來設定接下來子進程的個數。
>> multiprocessing.active_children()
用來獲得當前所有的子進程,包括daemon和非daemon子進程。
執行個體:
import multiprocessing
import time
import sys
def worker(num):
p = multiprocessing.current_process()
print ('Starting:' + p.name + ":" + str(p.pid))
print(str(num))
sys.stdout.flush()
print ('Exiting :' + p.name + ":" + str(p.pid))
sys.stdout.flush()
def daemon():
p = multiprocessing.current_process()
print ('Starting:' + p.name + ":" + str(p.pid))
sys.stdout.flush()
time.sleep(10)
print ('Exiting :' + p.name + ":" + str(p.pid))
sys.stdout.flush()
def non_daemon():
p = multiprocessing.current_process()
print ('Starting:' + p.name + ":" + str(p.pid))
sys.stdout.flush()
time.sleep(20)
print ('Exiting :' + p.name + ":" + str(p.pid))
sys.stdout.flush()
if __name__ == '__main__':
w = multiprocessing.Process(name='worker', target=worker, args=(100,))
d = multiprocessing.Process(name='daemon', target=daemon)
d.daemon = True
nd = multiprocessing.Process(name='non-daemon', target=non_daemon)
w.start()
d.start()
nd.start()
print("the number of CPU is " + str(multiprocessing.cpu_count()))
print("All children processes:")
for p in multiprocessing.active_children():
print("child:" + p.name + ":" + str(p.pid))
print()
w.join()
#d.join()
運行結果:
可以從上面的例子看到沒有多非daemon子進程使用join()方法,結果父進程沒有等待非daemon進程結束就退出了。
完!