python類庫32[多進程]

來源:互聯網
上載者:User

由於CPython實現中的GIL的限制,python中的多線程其實並不是真正的多線程,如果想要充分地使用多核CPU的資源,在python中大部分情況我們需要使用多進程。 這也許就是python中多進程類庫如此簡潔好用的原因所在。在python中可以向多線程一樣簡單地使用多進程。

 

一 多進程 

process的成員變數和方法:

>>class multiprocessing.Process([group[, target[, name[, args[, kwargs]]]]]) 來的定義類似於threading.Thread。target表示此進程啟動並執行函數,args和kwargs表示target的參數。

 

>>name, pid

分別表示進程的名字,進程id。 

>> daemon成員

daemon標誌位bool變數,需要在start()調用前設定。daemon的初始值是從父進程繼承而來。當一個進程結束的時候,它嘗試去結束它的所有的daemon子進程。

注意: 

daemon進程不允許建立子進程。否則當daemon進程結束的時候它的子進程不能被結束。

這裡的daemon不是Unix的daemon進程,當父進程結束的時候所有的daemon子進程也將被終止(對於非daemon進程,父進程不等待非daemon的紫子進程,除非顯示地對非daemon子進程使用join()方法)。

>>  exitcode

如果進程還沒有退出,則為None,如果正確的退出則為0,如果有錯誤則為>0的錯誤碼,如果進程為終止則為-1*singal。  

>> start(), is_live(), terminate()

start()用來啟動進程,is_live()用來查看進程的狀態,terminate()用來終止進程。

>> run()

可以在process的子類中重載run()方法,從而設定進程的任務。重載process是構造新進程的另一種方式,一定程度上上等價於process的target參數。

 

multiprcessing的靜態方法:

>>  multiprocessing.cpu_count()

用來獲得當前的CPU的核心數,可以用來設定接下來子進程的個數。 

>>  multiprocessing.active_children()

用來獲得當前所有的子進程,包括daemon和非daemon子進程。 

 

執行個體:

 

import multiprocessing
import time
import sys

def worker(num):
    p = multiprocessing.current_process()
    print ('Starting:' + p.name + ":" + str(p.pid))
    print(str(num))
    sys.stdout.flush()
    print ('Exiting :' + p.name + ":" + str(p.pid))
    sys.stdout.flush()

def daemon():
    p = multiprocessing.current_process()
    print ('Starting:' + p.name + ":" + str(p.pid))
    sys.stdout.flush()
    time.sleep(10)
    print ('Exiting :' + p.name + ":" + str(p.pid))
    sys.stdout.flush()
    
def non_daemon():
    p = multiprocessing.current_process()
    print ('Starting:' + p.name + ":" + str(p.pid))
    sys.stdout.flush()
    time.sleep(20)
    print ('Exiting :' + p.name + ":" + str(p.pid))
    sys.stdout.flush()
    
if __name__ == '__main__':
    w = multiprocessing.Process(name='worker', target=worker, args=(100,))
    d = multiprocessing.Process(name='daemon', target=daemon)
    d.daemon = True
    nd = multiprocessing.Process(name='non-daemon', target=non_daemon)
    w.start()
    d.start()
    nd.start()
    
    print("the number of CPU is " + str(multiprocessing.cpu_count()))
    print("All children processes:")
    for p in multiprocessing.active_children():
        print("child:" + p.name + ":" + str(p.pid))
    print()
    
    w.join()
    #d.join()

 

運行結果:

 

可以從上面的例子看到沒有多非daemon子進程使用join()方法,結果父進程沒有等待非daemon進程結束就退出了。 

 

完! 

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.