python平行處理任務時 該用多進程？還是該用多線程？

標籤：python   程式   多線程   影響   

      在python平行處理任務時要使用多線程還是多進程？ 說到這個話題，必須要提的GIL( Global Interpreter Lock)全域解釋鎖，當Cpython每次執行位元組碼時都要先申請這個鎖。那麼問題就來了，如果使用多線程是比也會受到影響。

       多線程和多進程程式比較，哪個效能更高？還是拿一個執行個體運行來看看吧～ 

＃寫一個簡單的例子，計算100W個隨機數的和8次，同時將分散到8個線程進行運算。＃thread.py#!/usr/bin/env pythonimport randomimport threadingresults = []def compute():    results.append(        sum([random.randint(1,100) for i in range(1000000)]))def main():            workers = [threading.Thread(target(compute) for  x in range(8))]    for worker in workers:        worker.start()        for woker in workers:        worker.join()    print("Result: %s" % results)      if __name__  == "__main__":    main()        #相同的功能，使用多進程來實現#worker.py#!/usr/bin/env pythonimport multiprocessingimport randomdef compute(n):    return sum(        [random.randint(1,100) for i in range(1000000)])        def main():    pool = multiprocessing.Pool(8)    print("Results: %s" % pool.map(compute, range(8)))    if __name__ == "__main__":    main()

 兩個程式碼片段已經寫完了，接下來我找了三種配置的機器來運行這兩段代碼：

配置1	1Core	2GB記憶體
配置2	4Core	8GB記憶體
配置3	48Core	64GB記憶體

實驗1:

兩端代碼同時在1Core 2GB機器上運行，查看運行結果：

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M02/6F/8B/wKioL1Wfmc6RZe2aAAJODN1oYpM336.jpg" title="1.png" alt="wKioL1Wfmc6RZe2aAAJODN1oYpM336.jpg" />

從運行結果來看，多線程的程式比多進程的程式效率要高，使用cpu都是99%(由於機器只有一個Core，多進程沒有體現它的價值)。

實驗2:

兩段代碼同時在4Core 8GB記憶體機器上運行，查看運行結果：

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/6F/8B/wKioL1Wfm2ijoMj-AAGoBy2Asr8801.jpg" title="2.png" alt="wKioL1Wfm2ijoMj-AAGoBy2Asr8801.jpg" />

從運行結果來看，多進程程式效率比多線程程式效率要高1倍還要多。cpu使用上多線程卡在了141%，多進程跑到了379%，這裡體現出多進程的優勢。

實驗3:

兩段代碼同時在48core 64GB記憶體機器上跑，查看運行結果：

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M02/6F/8F/wKiom1Wfm0XgGPqPAAIzZQw09_A258.jpg" title="3.png" alt="wKiom1Wfm0XgGPqPAAIzZQw09_A258.jpg" />

從運行結果來看，多進程程式cpu可以跑到715%(程式設定了開啟8個worker進程，所以不會超過800%)，而多線程卡在了124%。

通過以上測試結果，已經可以得出。python下多進程程式要比多線程程式要高效。並且會隨著Core數不斷的增加，效能也會得到提升。

所以考慮在一定的時間內平行處理一些工作時，最好依靠多進程建立多個作業，以便在多個cpu之間分散負載。

本文出自 “David” 部落格，請務必保留此出處http://davidbj.blog.51cto.com/4159484/1673031

python平行處理任務時 該用多進程？還是該用多線程？