Python協程深入理解

標籤：form   不用   tools   客戶   avg   就會   兩種   ons   expr   

從文法上來看，協程和產生器類似，都是定義體中包含yield關鍵字的函數。
yield在協程中的用法：

• 在協程中yield通常出現在運算式的右邊，例如：datum = yield,可以產出值，也可以不產出--如果yield關鍵字後面沒有運算式，那麼產生器產出None.
• 協程可能從調用方接受資料，調用方是通過send(datum)的方式把資料提供給協程使用，而不是next(...)函數，通常調用方會把值推送給協程。
• 協程可以把控制器讓給中心發送器，從而啟用其他的協程

所以總體上在協程中把yield看做是控制流程程的方式。

瞭解協程的過程

先通過一個簡單的協程的例子理解：

對上述例子的分析：
yield 的右邊沒有運算式，所以這裡預設產出的值是None
剛開始先調用了next(...)是因為這個時候產生器還沒有啟動，沒有停在yield那裡，這個時候也是無法通過send發送資料。所以當我們通過next(...)啟用協程後，程式就會運行到x = yield，這裡有個問題我們需要注意，x = yield這個運算式的計算過程是先計算等號右邊的內容，然後在進行賦值，所以當啟用產生器後，程式會停在yield這裡，但並沒有給x賦值。
當我們調用send方法後yield會收到這個值並賦值給x,而當程式運行到協程定義體的末尾時和用產生器的時候一樣會拋出StopIteration異常

如果協程沒有通過next(...)啟用(同樣我們可以通過send(None)的方式啟用)，但是我們直接send，會提示如下錯誤：

關於調用next(...)函數這一步通常稱為”預激(prime)“協程，即讓協程向前執行到第一個yield運算式，準備好作為活躍的協程使用

協程在運行過程中有四個狀態：

1. GEN_CREATE:等待開始執行
2. GEN_RUNNING:解譯器正在執行，這個狀態一般看不到
3. GEN_SUSPENDED:在yield運算式處暫停
4. GEN_CLOSED:執行結束

通過下面例子來查看協程的狀態：

接著再通過一個計算平均值的例子來繼續理解：

這裡是一個死迴圈，只要不停send值給協程，可以一直計算下去。
通過上面的幾個例子我們發現，我們如果想要開始使用協程的時候必須通過next(...)方式啟用協程，如果不預激，這個協程就無法使用，如果哪天在代碼中遺忘了那麼就出問題了，所以有一種預激協程的裝飾器，可以協助我們幹這件事

預激協程的裝飾器

下面是預激裝飾器的示範例子：

 1 from functools import wraps 2  3  4 def coroutine(func): 5     @wraps(func) 6     def primer(*args,**kwargs): 7         gen = func(*args,**kwargs) 8         next(gen) 9         return gen10     return primer11 12 13 @coroutine14 def averager():15     total = 0.016     count = 017     average = None18     while True:19         term = yield average20         total += term21         count += 122         average = total/count23 24 25 coro_avg = averager()26 from inspect import getgeneratorstate27 print(getgeneratorstate(coro_avg))28 print(coro_avg.send(10))29 print(coro_avg.send(30))30 print(coro_avg.send(5))

關於預激，在使用yield from句法調用協程的時候，會自動預啟用，這樣其實與我們上面定義的coroutine裝飾器是不相容的，在python3.4裡面的asyncio.coroutine裝飾器不會預激協程，因此相容yield from

終止協程和異常處理

協程中為處理的異常會向上冒泡,傳給next函數或send函數的調用方(即觸發協程的對象)
拿上面的代碼舉例子，如果我們發送了一個字串而不是一個整數的時候就會報錯，並且這個時候協程是被終止了

從python2.5開始用戶端代碼在產生器對象上調用兩個方法，顯示的把異常發送給協程
分別為：throw和close
generator.throw:會讓產生器在暫停yield運算式處拋出指定的異常，如果產生器處理了拋出的異常，代碼會向前執行到下一個yield運算式，而產出的值會成為調用generator.throw方法代碼的傳回值。如果產生器沒有處理拋出的異常，異常會向上冒泡，傳到調用方的上下文中。
generator.close:會讓產生器在暫停yield運算式處拋出GeneratorExit異常。如果產生器沒有處理這個異常，或者拋出了StopIteration異常，調用方不會報錯，如果收到GeneratorExit異常，產生器一定不能產出值，否則解譯器會拋出RuntimeError異常。產生器拋出的異常會向上冒泡，傳給調用方。
下面是一個例子：

當傳入我們定義的異常時不會影響協程，協程不會停止，可以繼續send,但是如果是沒有處理的異常的時候，就會報錯，並且協程會被終止

讓協程傳回值

通過下面的例子進行示範如何擷取協程的傳回值：

 1 from collections import namedtuple 2  3  4 Result = namedtuple("Result","colunt average") 5  6  7 def averager(): 8     total = 0.0 9     count = 010     average = None11     while True:12         term = yield13         if term is None:14             break15         total += term16         count+=117         average = total/count18     return Result(count,average)19 20 coro_avg = averager()21 next(coro_avg)22 coro_avg.send(10)23 coro_avg.send(30)24 coro_avg.send(5)25 try:26     coro_avg.send(None)27 except StopIteration as e:28     result = e.value29     print(result)

這樣就可以擷取到最後的結果：

其實相對來說上面這種方式擷取傳回值比較麻煩，而yield from 結構會自動捕獲StopIteration異常，這種處理方式與for迴圈處理StopIteration異常的方式一樣，迴圈機制使我們更容易理解處理異常，對於yield from來說，解譯器不僅會捕獲StopIteration異常，還會把value屬性的值變成yield from運算式的值

關於yield from

在產生器gen中使用yield from subgen()時，subgen會獲得控制權，把產出的值傳給gen的調用方，即調用方可以直接控制subgen,同時，gen會阻塞，等待subgen終止

yield from x運算式對x對象所做的第一件事是，調用iter(x),從中擷取迭代器，因此x可以是任何可迭代的對象

下面是yield from可以簡化yield運算式的例子：

 

 1 def gen(): 2     for c in "AB": 3         yield c 4     for i in range(1,3): 5         yield i 6  7 print(list(gen())) 8  9 def gen2():10     yield from "AB"11     yield from range(1,3)12 13 print(list(gen2()))

這兩種的方式的結果是一樣的，但是這樣看來yield from更加簡潔，但是yield from的作用可不僅僅是替代產出值的嵌套for迴圈。
yield from的主要功能是開啟雙向通道，把最外層的調用方與最內層的子產生器串連起來，這樣二者可以直接發送和產出值，還可以直接傳入異常，而不用再像之前那樣在位於中間的協程中添加大量處理異常的代碼

通過yield from還可以連結可迭代對象

委派產生器在yield from 運算式處暫停時，調用方可以直接把資料發給子產生器，子產生器再把產出產出值發給調用方，子產生器返回之後，解譯器會拋出StopIteration異常，並把傳回值附加到異常對象上，此時委派產生器會恢複。

下面是一個完整的例子代碼

 1 from collections import namedtuple 2  3  4 Result = namedtuple(‘Result‘, ‘count average‘) 5  6  7 # 子產生器 8 def averager(): 9     total = 0.010     count = 011     average = None12     while True:13         term = yield14         if term is None:15             break16         total += term17         count += 118         average = total/count19     return Result(count, average)20 21 22 # 委派產生器23 def grouper(result, key):24     while True:25         result[key] = yield from averager()26 27 28 # 用戶端代碼，即調用方29 def main(data):30     results = {}31     for key,values in data.items():32         group = grouper(results,key)33         next(group)34         for value in values:35             group.send(value)36         group.send(None) #這裡表示要終止了37 38     report(results)39 40 41 # 輸出報告42 def report(results):43     for key, result in sorted(results.items()):44         group, unit = key.split(‘;‘)45         print(‘{:2} {:5} averaging {:.2f}{}‘.format(46             result.count, group, result.average, unit47         ))48 49 data = {50     ‘girls;kg‘:51         [40.9, 38.5, 44.3, 42.2, 45.2, 41.7, 44.5, 38.0, 40.6, 44.5],52     ‘girls;m‘:53         [1.6, 1.51, 1.4, 1.3, 1.41, 1.39, 1.33, 1.46, 1.45, 1.43],54     ‘boys;kg‘:55         [39.0, 40.8, 43.2, 40.8, 43.1, 38.6, 41.4, 40.6, 36.3],56     ‘boys;m‘:57         [1.38, 1.5, 1.32, 1.25, 1.37, 1.48, 1.25, 1.49, 1.46],58 }59 60 61 if __name__ == ‘__main__‘:62     main(data)

關於上述代碼著重解釋一下關於委派產生器部分，這裡的迴圈每次迭代時會建立一個averager執行個體，每個執行個體都是作為協程使用的產生器對象。

grouper發送的每個值都會經由yield from處理，通過管道傳給averager執行個體。grouper會在yield from運算式處暫停，等待averager執行個體處理用戶端發來的值。averager執行個體運行完畢後，返回的值會綁定到results[key]上，while 迴圈會不斷建立averager執行個體，處理更多的值

並且上述代碼中的子產生器可以使用return 返回一個值，而返回的值會成為yield from運算式的值。

關於yield from的意義

關於yield from 六點重要的說明：

1. 子產生器產出的值都直接傳給委派產生器的調用方(即用戶端代碼)
2. 使用send()方法發送給委派產生器的值都直接傳給子產生器。如果發送的值為None,那麼會給委派調用子產生器的__next__()方法。如果發送的值不是None,那麼會調用子產生器的send方法，如果調用的方法拋出StopIteration異常，那麼委派產生器恢複運行，任何其他異常都會向上冒泡，傳給委派產生器
3. 產生器退出時，產生器(或子產生器)中的return expr運算式會出發StopIteration(expr)異常拋出
4. yield from運算式的值是子產生器終止時傳給StopIteration異常的第一個參數。yield from 結構的另外兩個特性與異常和終止有關。
5. 傳入委派產生器的異常，除了GeneratorExit之外都傳給子產生器的throw()方法。如果調用throw()方法時拋出StopIteration異常，委派產生器恢複運行。StopIteration之外的異常會向上冒泡，傳給委派產生器
6. 如果把GeneratorExit異常傳入委派產生器，或者在委派產生器上調用close()方法，那麼在子產生器上調用clsoe()方法，如果它有的話。如果調用close()方法導致異常拋出，那麼異常會向上冒泡，傳給委派產生器，否則委派產生器拋出GeneratorExit異常

Python協程深入理解