標籤:ide 分享 rom sele 多個 += 技術 stop select
一、我們知道無論是建立多進程還是建立多線程池來解決問題,都要消耗一定的時間來建立進程、建立線程、以及管理他們之間的切換。
基於單線程來實現並發,這樣就可以節省建立線程進程所消耗的時間。
二、如何?在兩個函數之間的切換?
def func1(): print(1) yield print(3) yielddef func2(): g = func1() next(g) print(2) next(g) print(4)func2()‘‘‘1234‘‘‘
切換1
def consumer(): while True: n = yield print(‘消費了一個包子%s‘%n)def producer(): g = consumer() next(g) for i in range(5): print(‘生產了包子%s‘%i) g.send(i)producer()‘‘‘生產了包子0消費了一個包子0生產了包子1消費了一個包子1生產了包子2消費了一個包子2生產了包子3消費了一個包子3生產了包子4消費了一個包子4‘‘‘
切換2
import timedef consumer(): ‘‘‘任務1:接收資料,處理資料‘‘‘ while True: x=yielddef producer(): ‘‘‘任務2:生產資料‘‘‘ g=consumer() next(g) for i in range(10000000): g.send(i) time.sleep(2)start=time.time()producer() #並發執行,但是任務producer遇到io就會阻塞住,並不會切到該線程內的其他任務去執行stop=time.time()print(stop-start)
yield無法做到遇到io阻塞
對於單線程下,程式中不可避免的會出現io操作,但如果我們能在自己的程式中(即使用者程式層級,而非作業系統層級)控制單線程下的多個任務能再一個任務遇到io阻塞時就切換到另外一個任務去計算,這樣就保證了該線程能夠最大限度地處於就緒態,即隨時都可以被cpu執行的狀態,相當於我們在使用者程式層級將自己的io操作最大限度地隱藏起來,從而可以迷惑作業系統,讓其看到:該線程好像是一直在計算,io比較少,從而更多的將cpu的執行許可權分配給我們的線程。
三、協程
協程:是單線程下的並發,協程是一種使用者態的輕量級線程,即協程是由使用者程式自己控制調度的。
協程的本質:在但線程下,由使用者自己控制一個任務遇到io阻塞了就切換另外一個任務去執行,以此來提升效率。
需要強調的是:
1:python的線程屬於核心層級的,即由作業系統控制調度(如單線程遇到io或執行時間過長就會被迫交出cpu執行許可權,切換其它線程運行)。
2:單線程內開啟協程,一旦遇到io,就會從應用程式層級(而非作業系統)控制切換,以此來提升效率(非io操作的切換與效率無關)
對比作業系統控制線程的切換,使用者在單線程內控制協程的切換的優缺點:
優點:
1.協程的切換開銷更小,屬於程式層級的切換,作業系統完全感知不到,因而更加輕量級。
2.單線程內就可以實現並發的效果,最大限度地利用cpu。
缺點:
1.協程的本質是單線程下,無法利用多核,可以是一個程式開啟多個進程,每個進程內開啟多個線程,每個線程內開啟協程。
2.協程指的是單個線程,因而一旦協程出現阻塞,將會阻塞整個線程。
協程的特點:
1.必須在只有一個單線程裡實現並發
2.修改共用資料不需加鎖
3.使用者程式裡自己儲存多個控制流程的上下文棧
4.附加:一個協程遇到IO操作自動切換到其它協程(如何?檢測IO,yield、greenlet都無法實現,就用到了gevent模組(select機制))
四、greenlet模組
from greenlet import greenletdef eat(name): print(‘%s eat 1‘ %name) g2.switch(‘haha‘) print(‘%s eat 2‘ %name) g2.switch()def play(name): print(‘%s play 1‘ %name) g1.switch() print(‘%s play 2‘ %name)g1=greenlet(eat)g2=greenlet(play)g1.switch(‘hjm‘)#可以在第一次switch時傳入參數,以後都不需要‘‘‘hjm eat 1haha play 1hjm eat 2haha play 2‘‘‘
greenlet實現狀態切換
import timefrom greenlet import greenlet # 在單線程中切換狀態的模組def eat1(): print(‘吃雞腿1‘) g2.switch() time.sleep(5) print(‘吃雞翅2‘) g2.switch()def eat2(): print(‘吃餃子1‘) g1.switch() time.sleep(3) print(‘白切雞‘)g1 = greenlet(eat1)g2 = greenlet(eat2)g1.switch()‘‘‘吃雞腿1吃餃子1吃雞翅2白切雞‘‘‘
greenlet實現狀態切換2
單純的切換(在沒有io的情況下或者沒有重複開闢記憶體空間的操作),反而會降低程式的執行速度。
#順序執行import timedef f1(): res=1 for i in range(100000000): res+=idef f2(): res=1 for i in range(100000000): res*=istart=time.time()f1()f2()stop=time.time()print(‘run time is %s‘ %(stop-start)) # run time is 10.494175910949707#切換from greenlet import greenletimport timedef f1(): res=1 for i in range(100000000): res+=i g2.switch()def f2(): res=1 for i in range(100000000): res*=i g1.switch()start=time.time()g1=greenlet(f1)g2=greenlet(f2)g1.switch()stop=time.time()print(‘run time is %s‘ %(stop-start)) # run time is 63.0725622177124
效率對比
greenlet只是提供了一種比generator更加便捷的切換方式,當切到一個任務執行時如果遇到io,那就原地阻塞,仍然是沒有解決遇到IO自動切換來提升效率的問題。
五、gevent模組
python------線程