python基礎 - 多進程

標籤：for   div   部分   定義   變數   也有   pip   調用   同名   

　　由於GIL的存在，python中的多線程其實並不是真正的多線程，如果想要充分地使用多核CPU的資源，在python中大部分情況需要使用多進程。Python提供了非常好用的多進程包multiprocessing，只需要定義一個函數，Python會完成其他所有事情。藉助這個包，可以輕鬆完成從單進程到並發執行的轉換。multiprocessing支援子進程、通訊和共用資料、執行不同形式的同步，提供了Process、Queue、Pipe、Lock等組件。

　　multiprocessing包是Python中的多流程管理組件。與threading.Thread類似，它可以利用multiprocessing.Process對象來建立一個進程。該進程可以運行在Python程式內部編寫的函數。該Process對象與Thread對象的用法相同，也有start(), run(), join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition類 (這些對象可以像多線程那樣，通過參數傳遞給各個進程)，用以同步進程，其用法與threading包中的同名類一致。所以，multiprocessing的很大一部份與threading使用同一套API，只不過換到了多進程的情境。

但在使用這些共用API的時候，我們要注意以下幾點:

• 在UNIX平台上，當某個進程終結之後，該進程需要被其父進程調用wait，否則進程成為殭屍進程(Zombie)。所以，有必要對每個Process對象調用join()方法 (實際上等同於wait)。對於多線程來說，由於只有一個進程，所以不存在此必要性。
• multiprocessing提供了threading包中沒有的IPC(比如Pipe和Queue)，效率上更高。應優先考慮Pipe和Queue，避免使用Lock/Event/Semaphore/Condition等同步方式 (因為它們佔據的不是使用者進程的資源)。
• 多進程應該避免共用資源。在多線程中，我們可以比較容易地共用資源，比如使用全域變數或者傳遞參數。在多進程情況下，由於每個進程有自己獨立的記憶體空間，以上方法並不合適。此時我們可以通過共用記憶體和Manager的方法來共用資源。但這樣做提高了程式的複雜度，並因為同步的需要而降低了程式的效率。

Process.PID中儲存有PID，如果進程還沒有start()，則PID為None。

window系統下，需要注意的是要想啟動一個子進程，必須加上那句if __name__ == "main"，進程相關的要寫在這句下面。

from multiprocessing import Processimport timedef f(name):    time.sleep(1)    print(‘hello‘, name,time.ctime())if __name__ == ‘__main__‘:    p_list=[]    for i in range(3):        p = Process(target=f, args=(‘alvin‘,))        p_list.append(p)        p.start()    for i in p_list:        p.join()    print(‘end‘)

　　

python基礎 - 多進程