Python之進程

標籤：parent   詳解   tail   pool   ...   ssi   退出   test   sse   

簡單介紹

在搭建macaca並行測試的同時使用了Python多進程的方法，目的是想多台裝置同時進行測試，如果等待一台裝置單獨跑完再進行下一個裝置，想像一下有二十台裝置的情況，跑完測試指令碼那得需要很長時間呀？使用多進程方法確實方便很多，但是在使用過程中也發現了問題。我是使用三個模擬器和一台真機測試的，三個模擬器都跑完了，真機還沒有開始，時間差距還是有的，可能是因為電腦的CPU核心數不夠吧。

 

實際操作

由於Python是跨平台的，自然也應該提供一個跨平台的多進程支援。multiprocessing模組就是跨平台版本的多進程模組。

一、Process

multiprocessing模組提供了一個Process類來代表一個進程對象，下面的例子示範了啟動一個子進程並等待其結束：

代碼如下：

from multiprocessing import Process

import os

# 子進程要執行的代碼

def run_proc(name):

    print(‘Run child process %s (%s)...‘ % (name, os.getpid()))

if __name__==‘__main__‘:

    print(‘Parent process %s.‘ % os.getpid())

    p = Process(target=run_proc, args=(‘test‘,))

    print(‘Child process will start.‘)

    p.start()

    p.join()

    print(‘Child process end.‘)

結果如下：

Parent process 928.

Process will start.

Run child process test (929)...

Process end.

這裡需要注意的是使用start()啟動進程，join()方法可以等待子進程結束後再繼續往下運行，通常用於進程間的同步。

二、Pool

我在構建macaca多進程的時候使用的是Pool方法，如果要啟動大量的子進程，可以用進程池的方式大量建立子進程：

代碼如下：

from multiprocessing import Pool

import os, time, random

def long_time_task(name):

    print(‘Run task %s (%s)...‘ % (name, os.getpid()))

    start = time.time()

    time.sleep(random.random() * 3)

    end = time.time()

    print(‘Task %s runs %0.2f seconds.‘ % (name, (end - start)))

if __name__==‘__main__‘:

    print(‘Parent process %s.‘ % os.getpid())

    p = Pool(4)

    for i in range(5):

        p.apply_async(long_time_task, args=(i,))

    print(‘Waiting for all subprocesses done...‘)

    p.close()

    p.join()

    print(‘All subprocesses done.‘)

結果如下：

Parent process 669.

Waiting for all subprocesses done...

Run task 0 (671)...

Run task 1 (672)...

Run task 2 (673)...

Run task 3 (674)...

Task 2 runs 0.14 seconds.

Run task 4 (673)...

Task 1 runs 0.27 seconds.

Task 3 runs 0.86 seconds.

Task 0 runs 1.41 seconds.

Task 4 runs 1.91 seconds.

All subprocesses done.

Pool類可以提供指定數量的進程供使用者調用，當有新的請求提交到Pool中時，如果池還沒有滿，就會建立一個新的進程來執行請求。如果池滿，請求就會告知先等待，直到池中有進程結束，才會建立新的進程來執行這些請求。 

下面介紹一下multiprocessing 模組下的Pool類下的幾個方法：

apply()

函數原型：

apply(func[, args=()[, kwds={}]])

該函數用於傳遞不定參數，主進程會被阻塞直到函數執行結束（不建議使用，並且3.x以後不在出現）。

apply_async()

函數原型：

apply_async(func[, args=()[, kwds={}[, callback=None]]])

與apply用法一樣，但它是非阻塞且支援結果返回進行回調。

map()

函數原型：

map(func, iterable[, chunksize=None])

Pool類中的map方法，與內建的map函數用法行為基本一致，它會使進程阻塞直到返回結果。 

注意，雖然第二個參數是一個迭代器，但在實際使用中，必須在整個隊列都就緒後，程式才會運行子進程。

close()

關閉進程池（pool），使其不在接受新的任務。

terminate()

結束背景工作處理序，不在處理未處理的任務。

join()

主進程阻塞等待子進程的退出，join方法必須在close或terminate之後使用。

 

參考：

多進程

Python 多進程 multiprocessing.Pool類詳解

Python之進程