【轉+】python為什麼推薦使用多進程

標籤：區別   io操作   提升   計數   請求   tick   線上   多核   獨立   

最近在看Python的多線程，經常我們會聽到老手說：“Python下多線程是雞肋，推薦使用多進程！”，但是為什麼這麼說呢？        
        
要知其然，更要知其所以然。所以有了下面的深入研究：        
        

首先強調背景：        
1、GIL是什嗎？
GIL的全稱是Global Interpreter Lock(全域解譯器鎖)，來源是python設計之初的考慮，為了資料安全所做的決定。        
2、每個CPU在同一時間只能執行一個線程（在單核CPU下的多線程其實都只是並發，不是並行，並發和並行從宏觀上來講都是同時處理多路請求的概念。但並發和並行又有區別，並行是指兩個或者多個事件在同一時刻發生；而並發是指兩個或多個事件在同一時間間隔內發生。）

在Python多線程下，每個線程的執行方式：
1、擷取GIL
2、執行代碼直到sleep或者是python虛擬機器將其掛起。
3、釋放GIL        
        
可見，某個線程想要執行，必須先拿到GIL，我們可以把GIL看作是“通行證”，並且在一個python進程中，GIL只有一個。拿不到通行證的線程，就不允許進入CPU執行。        
        
在Python2.x裡，GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數達到100（ticks可以看作是Python自身的一個計數器，專門做用於GIL，每次釋放後歸零，這個計數可以通過 sys.setcheckinterval 來調整），進行釋放。        
        
而每次釋放GIL鎖，線程進行鎖競爭、切換線程，會消耗資源。並且由於GIL鎖存在，python裡一個進程永遠只能同時執行一個線程(拿到GIL的線程才能執行)，這就是為什麼在多核CPU上，python的多線程效率並不高。        
                                 
那麼是不是python的多線程就完全沒用了呢？        
在這裡我們進行分類討論：        
1、CPU密集型代碼(各種迴圈處理、計數等等)，在這種情況下，由於計算工作多，ticks計數很快就會達到閾值，然後觸發GIL的釋放與再競爭（多個線程來回切換當然是需要消耗資源的），所以python下的多線程對CPU密集型代碼並不友好。        

2、IO密集型代碼(檔案處理、網路爬蟲等)，多線程能夠有效提升效率(單線程下有IO操作會進行IO等待，造成不必要的時間浪費，而開啟多線程能線上程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程式執行效率)。所以python的多線程對IO密集型代碼比較友好。        
        

而在python3.x中，GIL不使用ticks計數，改為使用計時器（執行時間達到閾值後，當前線程釋放GIL），這樣對CPU密集型程式更加友好，但依然沒有解決GIL導致的同一時間只能執行一個線程的問題，所以效率依然不盡如人意。        
                                
請注意：多核多線程比單核多線程更差，原因是單核下多線程，每次釋放GIL，喚醒的那個線程都能擷取到GIL鎖，所以能夠無縫執行，但多核下，CPU0釋放GIL後，其他CPU上的線程都會進行競爭，但GIL可能會馬上又被CPU0拿到，導致其他幾個CPU上被喚醒後的線程會醒著等待到切換時間後又進入待調度狀態，這樣會造成線程顛簸(thrashing)，導致效率更低
        
                                 
回到最開始的問題：經常我們會聽到老手說：“python下想要充分利用多核CPU，就用多進程”，原因是什麼呢？        

原因是：每個進程有各自獨立的GIL，互不干擾，這樣就可以真正意義上的並存執行，所以在python中，多進程的執行效率優於多線程(僅僅針對多核CPU而言)。        
                                
所以在這裡說結論：多核下，想做並行提升效率，比較通用的方法是使用多進程，能夠有效提高執行效率        

【轉+】python為什麼推薦使用多進程