python多進程操作-進程池

標籤：python進程池 、python多進程

   在利用Python進行系統管理的時候，特別是同時操作多個檔案目錄，或者遠端控制多台主機，並行操作可以節約大量的時間。當被操作對象數目不大時，可以直接利用multiprocessing中的Process動態成生多個進程，10幾個還好，但如果是上百個，上千個目標，手動的去限制進程數量卻又太過繁瑣，這時候進程池Pool發揮作用的時候就到了。
      Pool可以提供指定數量的進程，供使用者調用，當有新的請求提交到pool中時，如果池還沒有滿，那麼就會建立一個新的進程用來執行該請求；但如果池中的進程數已經達到規定最大值，那麼該請求就會等待，直到池中有進程結束，才會建立新的進程來它。這裡有一個簡單的例子：

  

    #!/usr/bin/env python    #coding=utf-8    """    Description: a simple sample for pool class    """    from multiprocessing import Pool    from time import sleep    def f(x):        for i in range(10):            print ‘%s --- %s ‘ % (i, x)            sleep(1)    def main():        pool = Pool(processes=3)    #設定最大進程數 3        for i in range(11,20):            result = pool.apply_async(f, (i,))        pool.close()        pool.join()        if result.successful():            print ‘successful‘    if __name__ == "__main__":        main()

    先建立容量為3的進程池，然後將f(i)依次傳遞給它，運行指令碼後利用ps aux | grep pool.py查看進程情況，會發現最多隻會有三個進程執行。

        pool.apply_async()用來向進程池提交目標請求，

        pool.join()是用來等待進程池中的worker進程執行完畢，防止主進程在worker進程結束前結束。但必pool.join()必須使用在pool.close()或者pool.terminate()之後。其中close()跟terminate()的區別在於close()會等待池中的worker進程執行結束再關閉pool,而terminate()則是直接關閉。

        result.successful()表示整個調用執行的狀態，如果還有worker沒有執行完，則會拋出AssertionError異常。
        利用multiprocessing下的Pool可以很方便的同時自動處理幾百或者上千個並行操作，指令碼的複雜性也大大降低。

    

python多進程操作-進程池