標籤:when 完成 多少 sim 管理 html 廣播 阻塞 生產者消費者模型
隊列
隊列類似於一條管道,元素先進先出,進put(arg),取get()
有一點需要注意的是:隊列都是在記憶體中操作,進程退出,隊列清空,另外,隊列也是一個阻塞的形態.
隊列分類
隊列有很多中,但都相依模組queue
|隊列方式|特點|
|---|---|
|queue.Queue|先進先出隊列|
|queue.LifoQueue|後進先出隊列|
|queue.PriorityQueue|優先順序隊列|
|queue.deque|雙線隊列|
隊列的方法
| 方法 |
用法說明 |
| put |
放資料,Queue.put()預設有block=True和timeout兩個參數。當block=True時,寫入是阻塞式的,阻塞時間由timeout確定。當隊列q被(其他線程)寫滿後,這段代碼就會阻塞,直至其他線程取走資料。Queue.put()方法加上 block=False 的參數,即可解決這個隱形問題。但要注意,非阻塞方式寫隊列,當隊列滿時會拋出 exception Queue.Full 的異常 |
| get |
取資料(預設阻塞),Queue.get([block[, timeout]])擷取隊列,timeout等待時間 |
| empty |
如果隊列為空白,返回True,反之False |
| qsize |
顯示隊列中真實存在的元素長度 |
| maxsize |
最大支援的隊列長度,使用時無括弧 |
| join |
實際上意味著等到隊列為空白,再執行別的操作 |
| task_done |
在完成一項工作之後,Queue.task_done()函數向任務已經完成的隊列發送一個訊號 |
| full |
如果隊列滿了,返回True,反之False |
單向隊列
import queueq=queue.Queue(5) #如果不設定長度,預設為無限長print(q.maxsize) #注意沒有括弧q.put(123)q.put(456)q.put(789)q.put(100)q.put(111)q.put(233)print(q.get())print(q.get())
如此列印時候是阻塞的,為什麼呢,因為建立了5個元素長度的隊列,但我put進去了6個,所以就阻塞了.如果少寫一個能顯示出正確的123.
後進先出隊列
q = queue.LifoQueue()q.put(12)q.put(34)print(q.get())
優先順序隊列
需要注意的是,優先順序隊列put的是一個元組,(優先順序,資料),優先順序數越小,層級越高
q = queue.PriorityQueue()q.put((3,‘aaaaa‘))q.put((3,‘bbbbb‘))q.put((1,‘ccccc‘))q.put((3,‘ddddd‘))print(q.get())print(q.get())
out:
(1, ‘ccccc‘)(3, ‘aaaaa‘)
雙線隊列
q = queue.deque()q.append(123)q.append(456)q.appendleft(780)print(q.pop())print(q.popleft())
out:
456780
生產消費者模型解決什麼問題,使用情境
從下面圖中可以發現生產者和消費者之間用中間類似一個隊列一樣的東西串起來。這個隊列可以想像成一個存放產品的“倉庫”,生產者只需要關心這個“倉庫”,並不需要關心具體的消費者,對於生產者而言甚至都不知道有這些消費者存在。對於消費者而言他也不需要關心具體的生產者,到底有多少生產者也不是他關心的事情,他只要關心這個“倉庫”中還有沒有東西。這種模型是一種松耦合模型。這樣可以回答我上面提出的第一個問題。這個模型的產生就是為了複用和解耦。比如常見的訊息架構(非常經典的一種生產者消費者模型的使用情境)ActiveMQ。發送端和接收端用Topic進行關聯。這個Topic可以理解為我們這裡“倉庫”的地址,這樣就可以實現點對點和廣播兩種方式進行訊息的分發。
一句話總結
解決程式解耦,較少的資源解決高並發的問題
multiprocessing模組
Multiprocessing is a package that supports spawning processes using an API similar to the threading module. The multiprocessing package offers both local and remote concurrency,effectively side-stepping the Global Interpreter Lock by using subprocesses instead of threads. Due to this, the multiprocessing module allows the programmer to fully leverage multiple processors on a given machine. It runs on both Unix and Windows.
由於GIL的存在,python中的多線程其實並不是真正的多線程,如果想要充分地使用多核CPU的資源,在python中大部分情況需要使用多進程。
multiprocessing包是Python中的多流程管理組件。與threading.Thread類似,它可以利用multiprocessing.Process對象來建立一個進程。該進程可以運行在Python程式內部編寫的函數。該Process對象與Thread對象的用法相同,也有start(), run(), join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition類 (這些對象可以像多線程那樣,通過參數傳遞給各個進程),用以同步進程,其用法與threading包中的同名類一致。所以,multiprocessing的很大一部份與threading使用同一套API,只不過換到了多進程的情境。
python 進場線程