python 進場線程

來源:互聯網
上載者:User

標籤:when   完成   多少   sim   管理   html   廣播   阻塞   生產者消費者模型   

隊列

隊列類似於一條管道,元素先進先出,進put(arg),取get()
有一點需要注意的是:隊列都是在記憶體中操作,進程退出,隊列清空,另外,隊列也是一個阻塞的形態.

隊列分類

隊列有很多中,但都相依模組queue
|隊列方式|特點|
|---|---|
|queue.Queue|先進先出隊列|
|queue.LifoQueue|後進先出隊列|
|queue.PriorityQueue|優先順序隊列|
|queue.deque|雙線隊列|

隊列的方法
方法 用法說明
put 放資料,Queue.put()預設有block=True和timeout兩個參數。當block=True時,寫入是阻塞式的,阻塞時間由timeout確定。當隊列q被(其他線程)寫滿後,這段代碼就會阻塞,直至其他線程取走資料。Queue.put()方法加上 block=False 的參數,即可解決這個隱形問題。但要注意,非阻塞方式寫隊列,當隊列滿時會拋出 exception Queue.Full 的異常
get 取資料(預設阻塞),Queue.get([block[, timeout]])擷取隊列,timeout等待時間
empty 如果隊列為空白,返回True,反之False
qsize 顯示隊列中真實存在的元素長度
maxsize 最大支援的隊列長度,使用時無括弧
join 實際上意味著等到隊列為空白,再執行別的操作
task_done 在完成一項工作之後,Queue.task_done()函數向任務已經完成的隊列發送一個訊號
full 如果隊列滿了,返回True,反之False
單向隊列
import queueq=queue.Queue(5)    #如果不設定長度,預設為無限長print(q.maxsize) #注意沒有括弧q.put(123)q.put(456)q.put(789)q.put(100)q.put(111)q.put(233)print(q.get())print(q.get())

如此列印時候是阻塞的,為什麼呢,因為建立了5個元素長度的隊列,但我put進去了6個,所以就阻塞了.如果少寫一個能顯示出正確的123.

後進先出隊列
q = queue.LifoQueue()q.put(12)q.put(34)print(q.get())
優先順序隊列

需要注意的是,優先順序隊列put的是一個元組,(優先順序,資料),優先順序數越小,層級越高

q = queue.PriorityQueue()q.put((3,‘aaaaa‘))q.put((3,‘bbbbb‘))q.put((1,‘ccccc‘))q.put((3,‘ddddd‘))print(q.get())print(q.get())

out:

(1, ‘ccccc‘)(3, ‘aaaaa‘)
雙線隊列
q = queue.deque()q.append(123)q.append(456)q.appendleft(780)print(q.pop())print(q.popleft())

out:

456780
生產消費者模型解決什麼問題,使用情境

從下面圖中可以發現生產者和消費者之間用中間類似一個隊列一樣的東西串起來。這個隊列可以想像成一個存放產品的“倉庫”,生產者只需要關心這個“倉庫”,並不需要關心具體的消費者,對於生產者而言甚至都不知道有這些消費者存在。對於消費者而言他也不需要關心具體的生產者,到底有多少生產者也不是他關心的事情,他只要關心這個“倉庫”中還有沒有東西。這種模型是一種松耦合模型。這樣可以回答我上面提出的第一個問題。這個模型的產生就是為了複用和解耦。比如常見的訊息架構(非常經典的一種生產者消費者模型的使用情境)ActiveMQ。發送端和接收端用Topic進行關聯。這個Topic可以理解為我們這裡“倉庫”的地址,這樣就可以實現點對點和廣播兩種方式進行訊息的分發。

一句話總結

解決程式解耦,較少的資源解決高並發的問題

 

 

multiprocessing模組

Multiprocessing is a package that supports spawning processes using an API similar to the threading module. The multiprocessing package offers both local and remote concurrency,effectively side-stepping the Global Interpreter Lock by using subprocesses instead of threads. Due to this, the multiprocessing module allows the programmer to fully leverage multiple processors on a given machine. It runs on both Unix and Windows.

由於GIL的存在,python中的多線程其實並不是真正的多線程,如果想要充分地使用多核CPU的資源,在python中大部分情況需要使用多進程。

multiprocessing包是Python中的多流程管理組件。與threading.Thread類似,它可以利用multiprocessing.Process對象來建立一個進程。該進程可以運行在Python程式內部編寫的函數。該Process對象與Thread對象的用法相同,也有start(), run(), join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition類 (這些對象可以像多線程那樣,通過參數傳遞給各個進程),用以同步進程,其用法與threading包中的同名類一致。所以,multiprocessing的很大一部份與threading使用同一套API,只不過換到了多進程的情境。

python 進場線程

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.