python並發編程&多線程(二)

來源:互聯網
上載者:User

標籤:spool   應用程式   詳細   方式   on()   記憶體回收   require   cond   ade   

前置理論知識見:python並發編程&多線程(一)

 

一 threading模組介紹

multiprocess模組的完全模仿了threading模組的介面,二者在使用層面,有很大的相似性

官網連結:https://docs.python.org/3/library/threading.html?highlight=threading#(裝B模式載入中…………)

 二 開啟線程的兩種方式 方式一 方式二

 

 三 在一個進程下開啟多個線程與在一個進程下開啟多個子進程的區別 1 誰的開啟速度快 2 瞅一瞅pid 3 同一進程內的線程共用該進程的資料? 四 練習

練習一:

 多線程並發的socket服務端 用戶端

練習二:三個任務,一個接收使用者輸入,一個將使用者輸入的內容格式化成大寫,一個將格式化後的結果存入檔案

 View Code 五 線程相關的其他方法
Thread執行個體對象的方法  # isAlive(): 返回線程是否活動的。  # getName(): 返回線程名。  # setName(): 設定線程名。threading模組提供的一些方法:  # threading.currentThread(): 返回當前的線程變數。  # threading.enumerate(): 返回一個包含正在啟動並執行線程的list。正在運行指線程啟動後、結束前,不包括啟動前和終止後的線程。  # threading.activeCount(): 返回正在啟動並執行線程數量,與len(threading.enumerate())有相同的結果。
 View Code

主線程等待子線程結束

from threading import Threadimport timedef sayhi(name):    time.sleep(2)    print(‘%s say hello‘ %name)if __name__ == ‘__main__‘:    t=Thread(target=sayhi,args=(‘egon‘,))    t.start()    t.join()    print(‘主線程‘)    print(t.is_alive())    ‘‘‘    egon say hello    主線程    False    ‘‘‘
 六 守護線程 

無論是進程還是線程,都遵循:守護xxx會等待主xxx運行完畢後被銷毀

需要強調的是:運行完畢並非終止運行

#1.對主進程來說,運行完畢指的是主進程代碼運行完畢#2.對主線程來說,運行完畢指的是主線程所在的進程內所有非守護線程統統運行完畢,主線程才算運行完畢

詳細解釋:

#1 主進程在其代碼結束後就已經算運行完畢了(守護進程在此時就被回收),然後主進程會一直等非守護的子進程都運行完畢後回收子進程的資源(否則會產生殭屍進程),才會結束,#2 主線程在其他非守護線程運行完畢後才算運行完畢(守護線程在此時就被回收)。因為主線程的結束意味著進程的結束,進程整體的資源都將被回收,而進程必須保證非守護線程都運行完畢後才能結束。
from threading import Threadimport timedef sayhi(name):    time.sleep(2)    print(‘%s say hello‘ %name)if __name__ == ‘__main__‘:    t=Thread(target=sayhi,args=(‘egon‘,))    t.setDaemon(True) #必須在t.start()之前設定    t.start()    print(‘主線程‘)    print(t.is_alive())    ‘‘‘    主線程    True    ‘‘‘
 迷惑人的例子 七  Python GIL(Global Interpreter Lock)

連結:http://www.cnblogs.com/linhaifeng/articles/7449853.html

 八 同步鎖
三個需要注意的點:#1.線程搶的是GIL鎖,GIL鎖相當於執行許可權,拿到執行許可權後才能拿到互斥鎖Lock,其他線程也可以搶到GIL,但如果發現Lock仍然沒有被釋放則阻塞,即便是拿到執行許可權GIL也要立刻交出來#2.join是等待所有,即整體串列,而鎖只是鎖住修改共用資料的部分,即部分串列,要想保證資料安全的根本原理在於讓並發變成串列,join與互斥鎖都可以實現,毫無疑問,互斥鎖的部分串列效率要更高#3. 一定要看本小節最後的GIL與互斥鎖的經典分析

GIL VS Lock

    機智的同學可能會問到這個問題,就是既然你之前說過了,Python已經有一個GIL來保證同一時間只能有一個線程來執行了,為什麼這裡還需要lock? 

 首先我們需要達成共識:鎖的目的是為了保護共用的資料,同一時間只能有一個線程來修改共用的資料

    然後,我們可以得出結論:保護不同的資料就應該加不同的鎖。

 最後,問題就很明朗了,GIL 與Lock是兩把鎖,保護的資料不一樣,前者是解譯器層級的(當然保護的就是解譯器層級的資料,比如記憶體回收的資料),後者是保護使用者自己開發的應用程式的資料,很明顯GIL不負責這件事,只能使用者自訂加鎖處理,即Lock

過程分析:所有線程搶的是GIL鎖,或者說所有線程搶的是執行許可權

  線程1搶到GIL鎖,拿到執行許可權,開始執行,然後加了一把Lock,還沒有執行完畢,即線程1還未釋放Lock,有可能線程2搶到GIL鎖,開始執行,執行過程中發現Lock還沒有被線程1釋放,於是線程2進入阻塞,被奪走執行許可權,有可能線程1拿到GIL,然後正常執行到釋放Lock。。。這就導致了串列啟動並執行效果

  既然是串列,那我們執行

  t1.start()

  t1.join

  t2.start()

  t2.join()

  這也是串列執行啊,為何還要加Lock呢,需知join是等待t1所有的代碼執行完,相當於鎖住了t1的所有代碼,而Lock只是鎖住一部分操作共用資料的代碼。

 詳細
from threading import Threadimport os,timedef work():    global n    temp=n    time.sleep(0.1)    n=temp-1if __name__ == ‘__main__‘:    n=100    l=[]    for i in range(100):        p=Thread(target=work)        l.append(p)        p.start()    for p in l:        p.join()    print(n) #結果可能為99

鎖通常被用來實現對共用資源的同步訪問。為每一個共用資源建立一個Lock對象,當你需要訪問該資源時,調用acquire方法來擷取鎖對象(如果其它線程已經獲得了該鎖,則當前線程需等待其被釋放),待資源訪問完後,再調用release方法釋放鎖:

import threadingR=threading.Lock()R.acquire()‘‘‘對公用資料的操作‘‘‘R.release()
 View Code GIL鎖與互斥鎖綜合分析(重點!!!) 互斥鎖與join的區別(重點!!!) 九 死結現象與遞迴鎖

進程也有死結與遞迴鎖,在進程那裡忘記說了,放到這裡一切說了額

所謂死結: 是指兩個或兩個以上的進程或線程在執行過程中,因爭奪資源而造成的一種互相等待的現象,若無外力作用,它們都將無法推進下去。此時稱系統處於死結狀態或系統產生了死結,這些永遠在互相等待的進程稱為死結進程,如下就是死結

 View Code

解決方案,遞迴鎖,在Python中為了支援在同一線程中多次請求同一資源,python提供了可重新進入鎖RLock。

這個RLock內部維護著一個Lock和一個counter變數,counter記錄了acquire的次數,從而使得資源可以被多次require。直到一個線程所有的acquire都被release,其他的線程才能獲得資源。上面的例子如果使用RLock代替Lock,則不會發生死結:

mutexA=mutexB=threading.RLock() #一個線程拿到鎖,counter加1,該線程內又碰到加鎖的情況,則counter繼續加1,這期間所有其他線程都只能等待,等待該線程釋放所有鎖,即counter遞減到0為止
 十 訊號量Semaphore

同進程的一樣

Semaphore管理一個內建的計數器,
每當調用acquire()時內建計數器-1;
調用release() 時內建計數器+1;
計數器不能小於0;當計數器為0時,acquire()將阻塞線程直到其他線程調用release()。

執行個體:(同時只有5個線程可以獲得semaphore,即可以限制最大串連數為5):

 View Code

與進程池是完全不同的概念,進程池Pool(4),最大隻能產生4個進程,而且從頭到尾都只是這四個進程,不會產生新的,而訊號量是產生一堆線程/進程

 十一 Event

同進程的一樣

線程的一個關鍵特性是每個線程都是獨立運行且狀態不可預測。如果程式中的其 他線程需要通過判斷某個線程的狀態來確定自己下一步的操作,這時線程同步問題就會變得非常棘手。為瞭解決這些問題,我們需要使用threading庫中的Event對象。 對象包含一個可由線程設定的訊號標誌,它允許線程等待某些事件的發生。在 初始情況下,Event對象中的訊號標誌被設定為假。如果有線程等待一個Event對象, 而這個Event對象的標誌為假,那麼這個線程將會被一直阻塞直至該標誌為真。一個線程如果將一個Event對象的訊號標誌設定為真,它將喚醒所有等待這個Event對象的線程。如果一個線程等待一個已經被設定為真的Event對象,那麼它將忽略這個事件, 繼續執行

event.isSet():返回event的狀態值;event.wait():如果 event.isSet()==False將阻塞線程;event.set(): 設定event的狀態值為True,所有阻塞池的線程啟用進入就緒狀態, 等待作業系統調度;event.clear():恢複event的狀態值為False。

 

例如,有多個背景工作執行緒嘗試連結MySQL,我們想要在連結前確保MySQL服務正常才讓那些背景工作執行緒去串連MySQL伺服器,如果串連不成功,都會去嘗試重新串連。那麼我們就可以採用threading.Event機制來協調各個背景工作執行緒的串連操作

 View Code 十二 條件Condition(瞭解)

使得線程等待,只有滿足某條件時,才釋放n個線程

import threading def run(n):    con.acquire()    con.wait()    print("run the thread: %s" %n)    con.release() if __name__ == ‘__main__‘:     con = threading.Condition()    for i in range(10):        t = threading.Thread(target=run, args=(i,))        t.start()     while True:        inp = input(‘>>>‘)        if inp == ‘q‘:            break        con.acquire()        con.notify(int(inp))        con.release()
 View Code 十三 定時器

定時器,指定n秒後執行某操作

from threading import Timer  def hello():    print("hello, world") t = Timer(1, hello)t.start()  # after 1 seconds, "hello, world" will be printed
 十四 線程queue

queue隊列 :使用import queue,用法與進程Queue一樣

queue is especially useful in threaded programming when information must be exchanged safely between multiple threads.

class queue.Queue(maxsize=0) #先進先出
 View Code

class queue.LifoQueue(maxsize=0) #last in fisrt out 

 View Code

class queue.PriorityQueue(maxsize=0) #儲存資料時可設定優先權的隊列

 View Code

其他

 View Code 十五  Python標準模組--concurrent.futures

https://docs.python.org/dev/library/concurrent.futures.html(持續裝B…………)

#1 介紹concurrent.futures模組提供了高度封裝的非同步呼叫介面ThreadPoolExecutor:線程池,提供非同步呼叫ProcessPoolExecutor: 進程池,提供非同步呼叫Both implement the same interface, which is defined by the abstract Executor class.#2 基本方法#submit(fn, *args, **kwargs)非同步提交任務#map(func, *iterables, timeout=None, chunksize=1) 取代for迴圈submit的操作#shutdown(wait=True) 相當於進程池的pool.close()+pool.join()操作wait=True,等待池內所有任務執行完畢回收完資源後才繼續wait=False,立即返回,並不會等待池內的任務執行完畢但不管wait參數為何值,整個程式都會等到所有任務執行完畢submit和map必須在shutdown之前#result(timeout=None)取得結果#add_done_callback(fn)回呼函數
 ProcessPoolExecutor ThreadPoolExecutor map的用法 回呼函數

python並發編程&多線程(二)

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.