[轉載]python gevent

標籤：效能   symbol   key   python   不同   切換   regex   線程   imp   

原地址:

http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001407503089986d175822da68d4d6685fbe849a0e0ca35000

感謝廖雪峰老師.

Python通過yield提供了對協程的基本支援，但是不完全。而第三方的gevent為Python提供了比較完善的協程支援。

gevent是第三方庫，通過greenlet實現協程，其基本思想是：

當一個greenlet遇到IO操作時，比如訪問網路，就自動切換到其他的greenlet，等到IO操作完成，再在適當的時候切換回來繼續執行。由於IO操作非常耗時，經常使程式處於等待狀態，有了gevent為我們自動切換協程，就保證總有greenlet在運行，而不是等待IO。

由於切換是在IO操作時自動完成，所以gevent需要修改Python內建的一些標準庫，這一過程在啟動時通過monkey patch完成：

from gevent import monkey; monkey.patch_socket()import geventdef f(n):    for i in range(n):        print gevent.getcurrent(), ig1 = gevent.spawn(f, 5)g2 = gevent.spawn(f, 5)g3 = gevent.spawn(f, 5)g1.join()g2.join()g3.join()

運行結果：

<Greenlet at 0x10e49f550: f(5)> 0<Greenlet at 0x10e49f550: f(5)> 1<Greenlet at 0x10e49f550: f(5)> 2<Greenlet at 0x10e49f550: f(5)> 3<Greenlet at 0x10e49f550: f(5)> 4<Greenlet at 0x10e49f910: f(5)> 0<Greenlet at 0x10e49f910: f(5)> 1<Greenlet at 0x10e49f910: f(5)> 2<Greenlet at 0x10e49f910: f(5)> 3<Greenlet at 0x10e49f910: f(5)> 4<Greenlet at 0x10e49f4b0: f(5)> 0<Greenlet at 0x10e49f4b0: f(5)> 1<Greenlet at 0x10e49f4b0: f(5)> 2<Greenlet at 0x10e49f4b0: f(5)> 3<Greenlet at 0x10e49f4b0: f(5)> 4

可以看到，3個greenlet是依次運行而不是交替運行。

要讓greenlet交替運行，可以通過gevent.sleep()交出控制權：

def f(n):    for i in range(n):        print gevent.getcurrent(), i        gevent.sleep(0)

執行結果：

<Greenlet at 0x10cd58550: f(5)> 0<Greenlet at 0x10cd58910: f(5)> 0<Greenlet at 0x10cd584b0: f(5)> 0<Greenlet at 0x10cd58550: f(5)> 1<Greenlet at 0x10cd584b0: f(5)> 1<Greenlet at 0x10cd58910: f(5)> 1<Greenlet at 0x10cd58550: f(5)> 2<Greenlet at 0x10cd58910: f(5)> 2<Greenlet at 0x10cd584b0: f(5)> 2<Greenlet at 0x10cd58550: f(5)> 3<Greenlet at 0x10cd584b0: f(5)> 3<Greenlet at 0x10cd58910: f(5)> 3<Greenlet at 0x10cd58550: f(5)> 4<Greenlet at 0x10cd58910: f(5)> 4<Greenlet at 0x10cd584b0: f(5)> 4

3個greenlet交替運行，

把迴圈次數改為500000，讓它們的已耗用時間長一點，然後在作業系統的進程管理器中看，線程數只有1個。

當然，實際代碼裡，我們不會用gevent.sleep()去切換協程，而是在執行到IO操作時，gevent自動切換，代碼如下：

from gevent import monkey; monkey.patch_all()import geventimport urllib2def f(url):    print(‘GET: %s‘ % url)    resp = urllib2.urlopen(url)    data = resp.read()    print(‘%d bytes received from %s.‘ % (len(data), url))gevent.joinall([        gevent.spawn(f, ‘https://www.python.org/‘),        gevent.spawn(f, ‘https://www.yahoo.com/‘),        gevent.spawn(f, ‘https://github.com/‘),])

運行結果：

GET: https://www.python.org/GET: https://www.yahoo.com/GET: https://github.com/45661 bytes received from https://www.python.org/.14823 bytes received from https://github.com/.304034 bytes received from https://www.yahoo.com/.

從結果看，3個網路操作是並發執行的，而且結束順序不同，但只有一個線程。

小結

使用gevent，可以獲得極高的並發效能，但gevent只能在Unix/Linux下運行，在Windows下不保證正常安裝和運行。

由於gevent是基於IO切換的協程，所以最神奇的是，我們編寫的Web App代碼，不需要引入gevent的包，也不需要改任何代碼，僅僅在部署的時候，用一個支援gevent的WSGI伺服器，立刻就獲得了數倍的效能提升。具體部署方式可以參考後續“實戰”-“部署Web App”一節。

[轉載]python gevent