Python如何通過future處理並發問題的執行個體詳解

來源:互聯網
上載者:User
這篇文章主要介紹了Python通過future處理並發問題,非常不錯,具有參考借鑒價值,需要的朋友可以參考下

future初識

通過下面指令碼來對future進行一個初步瞭解:

例子1:普通通過迴圈的方式

import osimport timeimport sysimport requestsPOP20_CC = ( "CN IN US ID BR PK NG BD RU JP MX PH VN ET EG DE IR TR CD FR").split()BASE_URL = 'http://flupy.org/data/flags'DEST_DIR = 'downloads/'def save_flag(img,filename): path = os.path.join(DEST_DIR,filename) with open(path,'wb') as fp: fp.write(img)def get_flag(cc): url = "{}/{cc}/{cc}.gif".format(BASE_URL,cc=cc.lower()) resp = requests.get(url) return resp.contentdef show(text): print(text,end=" ") sys.stdout.flush()def download_many(cc_list): for cc in sorted(cc_list): image = get_flag(cc) show(cc) save_flag(image,cc.lower()+".gif") return len(cc_list)def main(download_many): t0 = time.time() count = download_many(POP20_CC) elapsed = time.time()-t0 msg = "\n{} flags downloaded in {:.2f}s" print(msg.format(count,elapsed))if __name__ == '__main__': main(download_many)

例子2:通過future方式實現,這裡對上面的部分代碼進行了複用

 from concurrent import futuresfrom flags import save_flag, get_flag, show, mainMAX_WORKERS = 20def download_one(cc): image = get_flag(cc) show(cc) save_flag(image, cc.lower()+".gif") return ccdef download_many(cc_list): workers = min(MAX_WORKERS,len(cc_list)) with futures.ThreadPoolExecutor(workers) as executor: res = executor.map(download_one, sorted(cc_list)) return len(list(res))if __name__ == '__main__': main(download_many)

分別運行三次,兩者的平均速度:13.67和1.59s,可以看到差別還是非常大的。

future

future是concurrent.futures模組和asyncio模組的重要組件

從python3.4開始標準庫中有兩個名為Future的類:concurrent.futures.Future和asyncio.Future
這兩個類的作用相同:兩個Future類的執行個體都表示可能完成或者尚未完成的延遲計算。與Twisted中的Deferred類、Tornado架構中的Future類的功能類似

注意:通常情況下自己不應該建立future,而是由並發架構(concurrent.futures或asyncio)執行個體化

原因:future表示終將發生的事情,而確定某件事情會發生的唯一方式是執行的時間已經安排好,因此只有把某件事情交給concurrent.futures.Executor子類處理時,才會建立concurrent.futures.Future執行個體。
如:Executor.submit()方法的參數是一個可調用的對象,調用這個方法後會為傳入的可調用對象排定時間,並返回一個

future

用戶端代碼不能應該改變future的狀態,並發架構在future表示的延遲計算結束後會改變期物的狀態,我們無法控制計算何時結束。

這兩種future都有.done()方法,這個方法不阻塞,傳回值是布爾值,指明future連結的可調用對象是否已經執行。用戶端代碼通常不會詢問future是否運行結束,而是會等待通知。因此兩個Future類都有.add_done_callback()方法,這個方法只有一個參數,類型是可調用的對象,future運行結束後會調用指定的可調用對象。

.result()方法是在兩個Future類中的作用相同:返回可調用對象的結果,或者重新拋出執行可調用的對象時拋出的異常。但是如果future沒有運行結束,result方法在兩個Futrue類中的行為差別非常大。

對concurrent.futures.Future執行個體來說,調用.result()方法會阻塞調用方所在的線程,直到有結果可返回,此時,result方法可以接收可選的timeout參數,如果在指定的時間內future沒有運行完畢,會拋出TimeoutError異常。

而asyncio.Future.result方法不支援設定逾時時間,在擷取future結果最好使用yield from結構,但是concurrent.futures.Future不能這樣做

不管是asyncio還是concurrent.futures.Future都會有幾個函數是返回future,其他函數則是使用future,在最開始的例子中我們使用的Executor.map就是在使用future,傳回值是一個迭代器,迭代器的__next__方法調用各個future的result方法,因此我們得到的是各個futrue的結果,而不是future本身

關於future.as_completed函數的使用,這裡我們用了兩個迴圈,一個用於建立並排定future,另外一個用於擷取future的結果

from concurrent import futuresfrom flags import save_flag, get_flag, show, mainMAX_WORKERS = 20def download_one(cc): image = get_flag(cc) show(cc) save_flag(image, cc.lower()+".gif") return ccdef download_many(cc_list): cc_list = cc_list[:5] with futures.ThreadPoolExecutor(max_workers=3) as executor: to_do = [] for cc in sorted(cc_list):  future = executor.submit(download_one,cc)  to_do.append(future)  msg = "Secheduled for {}:{}"  print(msg.format(cc,future)) results = [] for future in futures.as_completed(to_do):  res = future.result()  msg = "{}result:{!r}"  print(msg.format(future,res))  results.append(res) return len(results)if __name__ == '__main__': main(download_many)

結果如下:

注意:Python代碼是無法控制GIL,標準庫中所有執行阻塞型IO操作的函數,在等待作業系統返回結果時都會釋放GIL.運行其他線程執行,也正是因為這樣,Python線程可以在IO密集型應用中發揮作用

以上都是concurrent.futures啟動線程,下面通過它啟動進程

concurrent.futures啟動進程

concurrent.futures中的ProcessPoolExecutor類把工作分配給多個Python進程處理,因此,如果需要做CPU密集型處理,使用這個模組能繞開GIL,利用所有的CPU核心。

其原理是一個ProcessPoolExecutor建立了N個獨立的Python解譯器,N是系統上面可用的CPU核心數。

使用方法和ThreadPoolExecutor方法一樣

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.