Python簡單多進程multiprocessing.Pool類

標籤：proc   pool   view   one   target   library   科學家   ESS   進度條   

轉自：偽·電腦科學家|真·碼農

首先介紹一個簡單粗暴，非常實用的工具，就是 multiprocessing.Pool。如果你的任務能用 ys = map(f, xs) 來解決，大家可能都知道，這樣的形式天生就是最容易並行的，那麼在 Python 裡面並行計算這個任務真是再簡單不過了。舉個例子，把每個數都平方：

 1 import multiprocessing 2  3 def f(x): 4     return x * x 5  6 cores = multiprocessing.cpu_count() 7 pool = multiprocessing.Pool(processes=cores) 8 xs = range(5) 9 10 # method 1: map11 print pool.map(f, xs)  # prints [0, 1, 4, 9, 16]12 13 # method 2: imap14 for y in pool.imap(f, xs):15     print y            # 0, 1, 4, 9, 16, respectively16 17 # method 3: imap_unordered18 for y in pool.imap_unordered(f, xs):19     print(y)           # may be in any order

map 直接返回列表，而 i 開頭的兩個函數返回的是迭代器；imap_unordered 返回的是無序的。

當計算時間比較長的時候，我們可能想要加上一個進度條，這個時候 i 系列的好處就體現出來了。另外，有一個小技巧，就是輸出 \r 可以使得游標回到行首而不換行，這樣就可以製作簡易的進度條了。

1 cnt = 02 for _ in pool.imap_unordered(f, xs):3     sys.stdout.write(‘done %d/%d\r‘ % (cnt, len(xs)))4     cnt += 1

 

Python簡單多進程multiprocessing.Pool類