標籤:import maxsize aar 實現 rgs rand 多線程 並發 消費者模式
線程queue介紹Queue的種類:
Queue.Queue(maxsize=0)
FIFO即First in First Out,先進先出。Queue提供了一個基本的FIFO容器,使用方法很簡單,maxsize是個整數,指明了隊列中能存放的資料個數的上限。一旦達到上限,插入會導致阻塞,直到隊列中的資料被消費掉。如果maxsize小於或者等於0,隊列大小沒有限制。
樣本:
import queueq = queue.Queue()q.put(1)q.put(2)q.put(3)print(q.get())print(q.get())print(q.get())
輸出:
123
Queue.LifoQueue(maxsize=0)
LIFO即Last in First Out,後進先出。與棧的類似,使用也很簡單,maxsize用法同上
樣本:
import queueq = queue.LifoQueue()q.put(1)q.put(2)q.put(3)print(q.get())print(q.get())print(q.get())
輸出:
321
class Queue.PriorityQueue(maxsize=0)
構造一個優先隊列。maxsize用法同上。
樣本:
import queueq =queue.PriorityQueue(3)q.put((2,‘aaron‘))q.put((-1,‘jim‘))q.put((5,‘jack‘))print(q.get())print(q.get())print(q.get())
輸出:
(-1, ‘jim‘)(2, ‘aaron‘)(5, ‘jack‘)
基本方法:
Queue.Queue(maxsize=0) FIFO, 如果maxsize小於1就表示隊列長度無限
Queue.LifoQueue(maxsize=0) LIFO, 如果maxsize小於1就表示隊列長度無限
Queue.qsize() 返回隊列的大小
Queue.empty() 如果隊列為空白,返回True,反之False
Queue.full() 如果隊列滿了,返回True,反之False
Queue.get([block[, timeout]]) 讀隊列,timeout等待時間
Queue.put(item, [block[, timeout]]) 寫隊列,timeout等待時間
Queue.queue.clear() 清空隊列
其他:
task_done()
意味著之前入隊的一個任務已經完成。由隊列的消費者線程調用。每一個get()調用得到一個任務,接下來的task_done()調用告訴隊列該任務已經處理完畢。
如果當前一個join()正在阻塞,它將在隊列中的所有任務都處理完時恢複執行(即每一個由put()調用入隊的任務都有一個對應的task_done()調用)。
join()
阻塞調用線程,直到隊列中的所有任務被處理掉。
只要有資料被排入佇列,未完成的任務數就會增加。當消費者線程調用task_done()(意味著有消費者取得任務並完成任務),未完成的任務數就會減少。當未完成的任務數降到0,join()解除阻塞。
生產者消費者模型
在並發編程中使用生產者和消費者模式能夠解決絕大多數並發問題。該模式通過平衡生產線程和消費線程的工作能力來提高程式的整體處理資料的速度。
為什麼要使用生產者和消費者模式
線上程世界裡,生產者就是生產資料的線程,消費者就是消費資料的線程。在多線程開發當中,如果生產者處理速度很快,而消費者處理速度很慢,那麼生產者就必須等待消費者處理完,才能繼續生產資料。同樣的道理,如果消費者的處理能力大於生產者,那麼消費者就必須等待生產者。為瞭解決這個問題於是引入了生產者和消費者模式。
什麼是生產者消費者模式
生產者消費者模式是通過一個容器來解決生產者和消費者的強耦合問題。生產者和消費者彼此之間不直接通訊,而通過阻塞隊列來進行通訊,所以生產者生產完資料之後不用等待消費者處理,直接扔給阻塞隊列,消費者不找生產者要資料,而是直接從阻塞隊列裡取,阻塞隊列就相當於一個緩衝區,平衡了生產者和消費者的處理能力。
生產者消費者簡單一實例
import threadingimport queue def producer(): for i in range(10): q.put("骨頭 %s" % i ) print("開始等待所有的骨頭被取走...") q.join() #等待所有任務完成 print("所有的骨頭被取完了...") def consumer(n): while q.qsize() >0: print("%s 取到" %n , q.get()) q.task_done() #告知這個任務執行完了 q = queue.Queue()p = threading.Thread(target=producer,)p.start()c1 = consumer("李闖")
注意:
- 如果沒有q.task_done()的存在,就不會通知線程隊列,生產者就會一直阻塞下去。
- 如果沒有q.join()的存在,生產者就不會等待消費者,它會自行結束。
- q.task_done()方法和q.join()方法的存在,實現了生產者與消費者的同步機制。
import time,randomimport queue,threadingq = queue.Queue()def Producer(name): count = 0 while count <20: time.sleep(random.randrange(3)) q.put(count) print(‘Producer %s has produced %s baozi..‘ %(name, count)) count +=1def Consumer(name): count = 0 while count <20: time.sleep(random.randrange(4)) if not q.empty(): data = q.get() print(data) print(‘\033[32;1mConsumer %s has eat %s baozi...\033[0m‘ %(name, data)) else: print("-----no baozi anymore----") count +=1p1 = threading.Thread(target=Producer, args=(‘A‘,))c1 = threading.Thread(target=Consumer, args=(‘B‘,))p1.start()c1.start()
這個執行個體,充分體現了線程隊列在生產者消費者模型中,是如何解決生產者與消費者的強耦合的問題。
線程queue使用注意事項1. 阻塞模式
import queueq = queue.Queue(10) #建立一個隊列...... for i in range(10): q.put(‘A‘) time.sleep(0.5)
這是一段極其簡單的代碼(另有兩個線程也在操作隊列q),我期望每隔0.5秒寫一個‘A‘到隊列中,但總是不能如願:間隔時間有時會遠遠超過0.5秒。原來,Queue.put()預設有 block = True 和 timeou 兩個參數。當 block = True 時,寫入是阻塞式的,阻塞時間由 timeou 確定。當隊列q被(其他線程)寫滿後,這段代碼就會阻塞,直至其他線程取走資料。Queue.put()方法加上 block=False 的參數,即可解決這個隱形問題。但要注意,非阻塞方式寫隊列,當隊列滿時會拋出 exception Queue.Full 的異常。
2. 無法捕獲 exception Queue.Empty 的異常
while True: ...... try: data = q.get() except Queue.Empty: break
本意是用隊列為空白時,退出迴圈,但實際運行起來,卻陷入了死迴圈。這個問題和上面有點類似:Queue.get()預設的也是阻塞方式讀取資料,隊列為空白時,不會拋出 except Queue.Empty ,而是進入阻塞直至逾時。 給get方法的參數block=False 的參數,問題迎刃而解。
python之線程queue