Python開發【第九篇】:進程、線程、協程,python第九篇
什麼是進程(process)?
程式並不能單獨運行,只有將程式裝載到記憶體中,系統為它分配資源才能運行,而這種執行的程式就稱之為進程。程式和進程的區別就在於,程式是指令的集合,它是進程啟動並執行靜態描述文本;進程是程式的一次執行活動,屬於動態概念。
什麼是線程(thread)?
線程是作業系統能夠進行運算調度的最小單位。它被包含在進程中,是進程中的實際運作單位。一條線程指的是進程中一個單一順序的控制流程,一個進程中可以並發多個線程,每條線程並存執行不同的任務。
進程與線程的區別?
線程共用記憶體空間,進程的記憶體是獨立的。
同一個進程的線程之間可以直接交流,但兩個進程相互連信必須通過一個中間代理。
建立一個新的線程很簡單,建立一個新的進程需要對其父進程進行一次複製。
一個線程可以控制和操作同一進程裡的其他線程,但是進程只能操作子進程。
Python GIL(Global Interpreter Lock)
無論開啟多少個線程,有多少個CPU,python在執行的時候在同一時刻只允許一個線程允許。
Python threading模組直接調用繼承式調用Join and DaemonJoin
Join的作用是阻塞主進程,無法執行join後面的程式。
多線程多join的情況下,依次執行各線程的join方法,前面一個線程執行結束才能執行後面一個線程。
無參數時,則等待該線程結束,才執行後續的程式。
設定參數後,則等待該線程設定的時間後就執行後面的主進程,而不管該線程是否結束。
設定參數效果如下:
Daemon
預設情況下,主線程在退出時會等待所有子線程的結束。如果希望主線程不等待子線程,而是在退出時自動結束所有的子線程,就需要設定子線程為後台線程(daemon)。方法是通過調用線程類的setDaemon()方法。
線程鎖(互斥鎖Mutex)
一個進程下可以啟動多個線程,多個線程共用父進程的記憶體空間,也就意味著每個線程可以訪問同一份資料,此時,如果2個線程同時要修改同一份資料就需要線程鎖。
加鎖版本
Lock時阻塞其他線程對共用資源的訪問,且同一線程只能acquire一次,如多於一次就出現了死結,程式無法繼續執行。
GIL VS Lock
GIL保證同一時間只能有一個線程來執行。lock是使用者級的lock,與GIL沒有關係。
RLock(遞迴鎖)
Rlock允許在同一線程中被多次acquire,線程對共用資源的釋放需要把所有鎖都release。即n次acquire,需要n次release。
這兩種鎖的主要區別是,RLock允許在同一線程中被多次acquire。而Lock卻不允許這種情況。注意,如果使用RLock,那麼acquire和release必須成對出現,即調用了n次acquire,必須調用n次的release才能真正釋放所佔用的鎖。
Semaphore(訊號量)
互斥鎖同時只允許一個線程更改資料,而Semaphore是同時允許一定數量的線程更改資料,比如售票處有3個視窗,那最多隻允許3個人同時買票,後面的人只能等前面任意視窗的人離開才能買票。
Timer(定時器)
Timer隔一定時間調用一個函數,如果想實現每隔一段時間就調用一個函數,就要在Timer調用的函數中,再次設定Timer。Timer是Thread的一個衍生類別。
Event
Python提供了Event對象用於線程間通訊,它是有線程設定的訊號標誌,如果訊號標誌位為假,則線程等待指導訊號被其他線程設定為真。Event對象實現了簡單的線程通訊機制,它提供了設定訊號、清除訊號、等待等用於實現線程間的通訊。
使用Event的set()方法可以設定Event對象內部的訊號標誌為真。Event對象提供了isSet()方法來判斷其內部訊號標誌的轉態,當使用event對象的set()方法後,isSet()方法返回真。
使用Event的clear()方法可以清除Event對象內部的訊號標誌,即將其設為假,當使用Event的clear()方法後,isSet()方法返回假。
Event的wait()方法只有在內部訊號為真的時候才會很快的執行並完成返回。當Event對象的內部訊號標誌為假時,則wait()方法一直等待其為真時才返回。
通過Event來實現兩個或多個線程間的互動,下面以紅綠燈為例,即啟動一個線程做交通指揮燈,產生幾個線程做車輛,車輛行駛按紅停綠行的規則。
queue隊列
Python中隊列是線程間最常用的交換資料的形式。Queue模組是提供隊列操作的模組。
建立一個隊列對象
queue.Queue類是一個隊列的同步實現。隊列長度可以無限或者有限。可以通過Queue的建構函式的選擇性參數maxsize來設定隊列長度。如果maxsize小於1表示隊列長度無限。
將一個值放入隊列中
調用隊列對象的put()方法在隊尾插入一個項目。put()有兩個參數,第一個item為必需的,為插入項目的值;第二個block為選擇性參數,預設為1。如果隊列當前為空白且block為1,put()方法就使調用線程暫停,直到空出一個資料單元。如果block為0,put()方法將引發Full異常。
將一個值從隊列中取出
調用隊列對象的get()方法從隊頭刪除並返回一個項目。選擇性參數為block,預設為True。如果隊列為空白且block為True,get()就使調用線程暫停,直到有項目可用。如果隊列為空白且block為False,隊列將引發Empty異常。
Python Queue模組有三種隊列及建構函式常用方法生產者消費者模型
在開發編程中使用生產者和消費者模式能夠解決絕大多數並發問題。該模式通過平衡生產線程和消費線程的工作能力來提高程式的整體處理資料的速度。
為什麼要使用生產者和消費者模式
線上程世界裡,生產者就是生產資料的線程,消費者就是消費資料的線程。在多線程開發當中,如果生產者處理速度很快,而消費者處理速度很慢,那麼生產者就必須等待消費者處理完,才能繼續生產資料。同樣的道理,如果消費者的處理能力大於生產者,那麼消費者就必須等待生產者。為瞭解決這個問題於是引入了生產者和消費者模式。
什麼是生產者消費者模式
生產者消費者模式是通過一個容器來解決生產者和消費者的強耦合問題。生產者和消費彼此之間不直接通訊,而通過阻塞隊列來進行通訊,所以生產者生產完資料之後不再等待消費者處理,直接扔給阻塞隊列,消費者不找生產者要資料,而是直接從阻塞隊列裡取,阻塞隊列就相當於一個緩衝區,平衡了生產者和消費者的處理能力。
最基本的生產者消費者模型的例子。