【python隊列】生產者消費者模型

標籤：生產者消費者模式

生產者消費者模型：

在軟體開發的過程中，經常碰到這樣的情境：
某些模組負責生產資料，這些資料由其他模組來負責處理（此處的模組可能是：函數、線程、進程等）。產生資料的模組稱為生產者，而處理資料的模組稱為消費者。在生產者與消費者之間的緩衝區稱之為倉庫。生產者負責往倉庫運輸商品，而消費者負責從倉庫裡取出商品，這就構成了生產者消費者模式。

生產者消費者模式的優點

• 解耦
  假設生產者和消費者分別是兩個線程。如果讓生產者直接調用消費者的某個方法，那麼生產者對於消費者就會產生依賴（也就是耦合）。如果未來消費者的代碼發生變化，可能會影響到生產者的代碼。而如果兩者都依賴於某個緩衝區，兩者之間不直接依賴，耦合也就相應降低了。

舉個例子，我們去郵局投遞信件，如果不使用郵箱（也就是緩衝區），你必須得把信直接交給郵遞員。有同學會說，直接給郵遞員不是挺簡單的嘛？其實不簡單，你必須 得認識誰是郵遞員，才能把信給他。這就產生了你和郵遞員之間的依賴（相當於生產者和消費者的強耦合）。萬一哪天郵遞員 換人了，你還要重新認識一下（相當於消費者變化導致修改生產者代碼）。而郵箱相對來說比較固定，你依賴它的成本就比較低（相當於和緩衝區之間的弱耦合）。

• 並發
  由於生產者與消費者是兩個獨立的並發體，他們之間是用緩衝區通訊的，生產者只需要往緩衝區裡丟資料，就可以繼續生產下一個資料，而消費者只需要從緩衝區拿資料即可，這樣就不會因為彼此的處理速度而發生阻塞。

繼續上面的例子，如果我們不使用郵箱，就得在郵局等郵遞員，直到他回來，把信件交給他，這期間我們啥事兒都不能幹（也就是生產者阻塞）。或者郵遞員得挨家挨戶問，誰要寄信（相當於消費者輪詢）。

• 支援忙閑不均
  當生產者製造資料快的時候，消費者來不及處理，未處理的資料可以暫時存在緩衝區中，慢慢處理掉。而不至於因為消費者的效能造成資料丟失或影響生產者生產。

我們再拿寄信的例子，假設郵遞員一次只能帶走1000封信，萬一碰上情人節（或是聖誕節）送賀卡，需要寄出去的信超過了1000封，這時候郵箱這個緩衝區就派上用場了。郵遞員把來不及帶走的信暫存在郵箱中，等下次過來時再拿走。

舉個例子：

import threading,time,random,queuedef product(num): '''生產者函數，負責向隊列裡放入資料''' c = threading.Thread(target = customer)           # 建立消費者進程，並設定成守護進程，生產結束，消費結束 c.setDaemon(True)   # 為什麼不用empty()判斷，因為消費比生產快，程式就會結束 c.start() count = 0          # 計數器 while count < 5:  name = str(num)+str(count)        # 產生不同的名字  q.put(name)                       # 放入隊列  print('服務員{} 有時間！'.format(name))      #列印提示  sec = random.randint(1,5)         # 隨機延遲  time.sleep(sec)                     count += 1                        # 增加計數def customer(): '''消費者函數，從隊列取出資料''' while True:  sec = random.randint(1,5)  time.sleep(sec)  name = q.get()                # 從隊列取出資料，如果沒有資料，阻塞  print ('服務員{} 被叫走了！'.format(name))q = queue.Queue()l = []for i in range(2): p = threading.Thread(target = product, args=(i,)) l.append(p) p.start()for i in l: i.join()

 

消費者生產者型概念參考資料：

http://python.jobbole.com/87592/

【python隊列】生產者消費者模型