python學習之進程線程學習二

標籤：python學習進程線程學習二

一、線程介紹處理線程的模組是threading,multiprocessing模組處理方式跟threading相似開啟線程的兩種方式:例子:from threading import Threadfrom multiprocessing import Processdef work(name):    print(‘%s say hello‘ %name)if __name__ == ‘__main__‘:    t = Thread(target=work, args=(‘hyh‘,))    t.start()    print(‘主線程‘)    class Work(Thread):    def __init__(self,name):        super().__init__()        self.name = name    def run(self):        print(‘%s say hello‘ %self.name)if __name__ == ‘__main__‘:    t = Work(‘hyh‘)    t.start()    print(‘主線程‘)    二、線程方法queue方法例子:import queueq = queue.Queue(3)    #先進先出q.put(1)q.put(‘hyh‘)q.put([1,2,3,4])print(q.get())print(q.get())print(q.get())q = queue.LifoQueue()    #後進先出q.put(1)q.put(‘hyh‘)q.put([1,2,3,4])print(q.get())print(q.get())print(q.get())q = queue.PriorityQueue()    #優先順序，數字越小優先順序越高q.put((10, ‘a‘))q.put((9, ‘b‘))q.put((11, ‘c‘))print(q.get())print(q.get())print(q.get())線程其他方法例子:import timefrom threading import Threadimport threadingdef work():    time.sleep(2)    print(‘%s say hello‘ %(threading.current_thread().getName()))if __name__ == ‘__main__‘:    t = Thread(target=work)    t.setDaemon(True)    #設定成守護線程    t.start()    t.join()    print(threading.enumerate())    #當前活躍的線程對象，是一個列表形式    print(threading.active_count()) #當前活躍的線程數目    print(‘主線程‘, threading.current_thread().getName())  #線程名字    三、python全域解譯器鎖GILpython同一進程的線程利用不了多核優勢，因為一個線程運行時擷取GIL鎖，等到運行結束釋放GIL，其它線程才能申請GIL現在的電腦基本上都是多核，python對於計算密集型的任務開多線程的效率並不能帶來多大效能上的提升，甚至不如串列(沒有大量切換)，但是，對於IO密集型的任務效率還是有顯著提升的例子:計算密集型from threading import Threadfrom multiprocessing import Processimport osimport timedef work():    res = 0    for i in range(1000000):        res += iif __name__ == ‘__main__‘:    t_l = []    start_time = time.time()    for i in range(300):        t = Thread(target=work)        t_l.append(t)        t.start()    for i in t_l:        i.join()    stop_time = time.time()    print(‘run time is %s‘ %(stop_time - start_time))    print(‘主線程‘)IO密集型    from threading import Threadfrom multiprocessing import Processimport timeimport osdef work():    time.sleep(2)    print(os.getpid())if __name__ == ‘__main__‘:    t_l = []    start_time = time.time()    for i in range(1000):        t = Thread(target=work)        t_l.append(t)        t.start()    for t in t_l:        t.join()    stop_time = time.time()    print(‘run time is %s‘ %(stop_time - start_time))線程鎖Lockimport threadingR=threading.Lock()R.acquire()‘‘‘對公用資料的操作‘‘‘R.release()死結例子:from threading import Thread,Lockimport timemutexA = Lock()mutexB = Lock()class MyThread(Thread):    def run(self):        self.func1()        self.func2()    def func1(self):        mutexA.acquire()        print(‘\033[41m%s 拿到A鎖\033[0m‘ %self.name)        mutexB.acquire()        print(‘\033[42m%s 拿到B鎖\033[0m‘ %self.name)        mutexB.release()        mutexA.release()    def func2(self):        mutexB.acquire()        print(‘\033[43m%s 拿到B鎖\033[0m‘ %self.name)        time.sleep(2)        mutexA.acquire()        print(‘\033[44m%s拿到A鎖\033[0m‘ %self.name)        mutexA.release()        mutexB.release()if __name__ == ‘__main__‘:    for i in range(10):        t = MyThread()        t.start()        輸出結果:Thread-1 拿到A鎖Thread-1 拿到B鎖Thread-1 拿到B鎖Thread-2 拿到A鎖卡住。。。遞迴鎖RLock這個RLock內部維護著一個Lock和一個counter變數，counter記錄了acquire的次數，從而使得資源可以被多次require。直到一個線程所有的acquire都被release，其他的線程才能獲得資源。上面的例子如果使用RLock代替Lock，則不會發生死結from threading import Thread,RLockimport timemutex = RLock()class MyThread(Thread):    def run(self):        self.func1()        self.func2()    def func1(self):        mutex.acquire()        print(‘\033[41m%s 拿到A鎖\033[0m‘ %self.name)        mutex.acquire()        print(‘\033[42m%s 拿到B鎖\033[0m‘ %self.name)        mutex.release()        mutex.release()    def func2(self):        mutex.acquire()        print(‘\033[43m%s 拿到B鎖\033[0m‘ %self.name)        time.sleep(2)        mutex.acquire()        print(‘\033[44m%s拿到A鎖\033[0m‘ %self.name)        mutex.release()        mutex.release()if __name__ == ‘__main__‘:    for i in range(10):        t = MyThread()        t.start()        訊號量SemahporeSemaphore管理一個內建的計數器，每當調用acquire()時內建計數器-1；調用release() 時內建計數器+1；計數器不能小於0；當計數器為0時，acquire()將阻塞線程直到其他線程調用release()例子:import threadingimport timesemaphore = threading.Semaphore(5)def func():    if semaphore.acquire():        print(threading.current_thread().getName() + ‘ get spmaphore‘)        time.sleep(2)        semaphore.release()for i in range(20):    t1 = threading.Thread(target=func)    t1.start()    event對象線程的一個關鍵特性是每個線程都是獨立運行且狀態不可預測。如果程式中的其 他線程需要通過判斷某個線程的狀態來確定自己下一步的操作,這時線程同步問題就 會變得非常棘手。為瞭解決這些問題,我們需要使用threading庫中的Event對象。 對象包含一個可由線程設定的訊號標誌,它允許線程等待某些事件的發生。在 初始情況下,Event對象中的訊號標誌被設定為假。如果有線程等待一個Event對象, 而這個Event對象的標誌為假,那麼這個線程將會被一直阻塞直至該標誌為真。一個線程如果將一個Event對象的訊號標誌設定為真,它將喚醒所有等待這個Event對象的線程。如果一個線程等待一個已經被設定為真的Event對象,那麼它將忽略這個事件, 繼續執行event.isSet()：返回event的狀態值；event.wait()：如果 event.isSet()==False將阻塞線程；event.set()： 設定event的狀態值為True，所有阻塞池的線程啟用進入就緒狀態， 等待作業系統調度；event.clear()：恢複event的狀態值為False例子:from threading import Thread,Eventimport threadingimport time,randomdef conn_mysql():    print(‘\033[42m%s 等待連結Mysql...\033[0m‘ %threading.current_thread().getName())    event.wait()    print(‘\033[42mMysql初始化成功，%s開始串連...\033[0m‘ %threading.current_thread().getName())def check_mysql():    print(‘\033[41m正在檢查mysql...\033[0m‘)    time.sleep(random.randint(1,3))    event.set()    time.sleep(random.randint(1,3))if __name__ == ‘__main__‘:    event = Event()    t1 = Thread(target=conn_mysql)    t2 = Thread(target=conn_mysql)    t3 = Thread(target=check_mysql)    t1.start()    t2.start()    t3.start()    wait(time)設定逾時時間from threading import Thread,Eventimport threadingimport time,randomdef conn_mysql():    while not event.is_set():        print(‘\033[42m%s 等待串連mysql...\033[0m‘ %threading.current_thread().getName())        event.wait(0.1)    print(‘\033[42mMysql初始化成功，%s開始串連...\033[0m‘ %threading.current_thread().getName())def check_mysql():    print(‘\033[41m正在檢查mysql...\033[0m‘)    time.sleep(random.randint(1,3))    event.set()    time.sleep(random.randint(1,3))if __name__ == ‘__main__‘:    event=Event()    t1 = Thread(target=conn_mysql)    t2 = Thread(target=conn_mysql)    t3 = Thread(target=check_mysql)    t1.start()    t2.start()    t3.start()    Timer定時器，指定n秒後執行操作例子:from threading import Timerdef hello():    print("hello, world")t = Timer(3, hello)t.start()四、協程協程: 單線程下的並發，又稱微線程，協程是一種使用者態的輕量級線程，即協程是由使用者程式自己控制調度的要實現協程，關鍵在於使用者程式自己控製程序切換，切換之前必須由使用者程式自己儲存協程上一次調用時的狀態，如此，每次重新調用時，能夠從上次的位置繼續執行我們之前已經學習過一種在單線程下可以儲存程式運行狀態的方法，即yield不使用yieldimport timedef consumer(item):    x = 1111111111111    y = 222222222222222    z = 3333333333333333    x1 = 122324234534534    x2 = 21324354654654    x3 = 3243565432435def producer(target,seq):    for item in seq:        target(item)每次調用函數,會臨時產生名稱空間,調用結束則釋放,迴圈100000000次,則重複這麼多次的建立和釋放,開銷非常大start_time = time.time()producer(consumer,range(100000000))stop_time = time.time()print(‘run time is:%s‘ %(stop_time - start_time))列印結果:run time is:14.8908851146698使用yieldimport timedef init(func):    def wrapper(*args, **kwargs):        g = func(*args, **kwargs)        next(g)        return g    return wrapper@initdef consumer():    x = 1111111111111    y = 222222222222222    z = 3333333333333333    x1 = 122324234534534    x2 = 21324354654654    x3 = 3243565432435    while True:        item = yielddef producer(target, seq):    for item in seq:        target.send(item)start_time = time.time()producer(consumer(), range(100000000))stop_time=time.time()print(‘run time is:%s‘ %(stop_time-start_time))greenlet實現線程的切換例子:from greenlet import greenletdef test1():    print(‘test1,first‘)    gr2.switch()    print(‘test1,second‘)    gr2.switch()def test2():    print(‘test2,first‘)    gr1.switch()    print(‘test2,second‘)gr1 = greenlet(test1)gr2 = greenlet(test2)gr1.switch()switch傳參數import timefrom greenlet import greenletdef eat(name):    print(‘%s eat food 1‘ %name)    gr2.switch(‘alex fly fly fly‘)    print(‘%s eat food 2‘ %name)    gr2.switch()def play_phone(name):    print(‘%s play 1‘ %name)    gr1.switch()    print(‘%s play 2‘ %name)gr1 = greenlet(eat)gr2=greenlet(play_phone)gr1.switch(name=‘egon啦啦啦‘)gevent第三方庫Gevent 是一個第三方庫，可以輕鬆通過gevent實現並發同步或非同步編程，在gevent中用到的主要模式是Greenlet, 它是以C擴充模組形式接入Python的輕量級協程。 Greenlet全部運行在主程式作業系統進程的內部，但它們被協作式地調度。 g1=gevent.spawn()建立一個協程對象g1io阻塞切換例子:import geventimport timedef eat():    print(‘eat food 1‘)    gevent.sleep(2)    print(‘eat food 2‘)def play_phone():    print(‘play phone 1‘)    gevent.sleep(1)    print(‘play phone 2‘)g1 = gevent.spawn(eat)g2 = gevent.spawn(play_phone)gevent.joinall([g1, g2])print(‘主‘)gevent.sleep(2)類比的是gevent可以識別的io阻塞time.sleep(2)或其他的阻塞,gevent是不能直接識別的需要用下面一行代碼例子:from gevent import monkey;monkey.patch_all()import geventimport timedef eat():    print(‘eat food 1‘)    time.sleep(2)    print(‘eat food 2‘)def play_phone():    print(‘play phone 1‘)    time.sleep(1)    print(‘play phone 2‘)g1 = gevent.spawn(eat)g2 = gevent.spawn(play_phone)gevent.joinall([g1, g2])print(‘主‘)gevent實現單線程下的socket並發例子:服務端from gevent import monkey;monkey.patch_all()from socket import *import geventdef server(server_ip, port):    s = socket(AF_INET, SOCK_STREAM)    s.setsockopt(SOL_SOCKET,SO_REUSEADDR, 1)    s.bind((server_ip,port))    s.listen(5)    while True:        conn, addr = s.accept()        gevent.spawn(talk, conn, addr)def talk(conn,addr):    try:        while True:            res = conn.recv(1024)            print(‘client %s:%s msg: %s‘ %(addr[0], addr[1], res))            conn.send(res.upper())    except Exception as e:        print(e)    finally:        conn.close()if __name__ == ‘__main__‘:    server(‘127.0.0.1‘, 8080)    用戶端#!/usr/bin/python# --*-- coding: utf-8 --*--from socket import *client=socket(AF_INET, SOCK_STREAM)client.connect((‘127.0.0.1‘, 8080))while True:    msg = input(‘>>: ‘).strip()    if not msg:continue    client.send(msg.encode(‘utf-8‘))    msg = client.recv(1024)    print(msg.decode(‘utf-8‘))

本文出自 “linux技術” 部落格，請務必保留此出處http://haoyonghui.blog.51cto.com/4278020/1944191

python學習之進程線程學習二