python 多線程+queue__python

來源:互聯網
上載者:User

python的queue設計的是安全執行緒的,所以大傢伙放心用吧。
python多線程的一種簡單的實現如下:

#!/usr/bin/env python# -*- coding: utf-8 -*-import threadingimport timedef fun(argv):    print 'in', argv    time.sleep(2)threads = []    #用於儲存線程for i in range(5):  #開5個線程    t = threading.Thread(target = fun, args = str(i))    threads.append(t)if __name__ == '__main__':    #開始所有的線程    for i in threads:        i.start()    #保證線程執行完        for i in threads:        i.join()    print 'all over'

程式執行結果如下

使用threading可以很容易的開啟多線程,join的作用是用於線程同步,看自己的需求而定。
好了,現在進入正題,多線程+queue怎麼弄,先給出代碼

#!/usr/bin/env python# -*- coding: utf-8 -*-import Queueimport threadingimport timeThread_id = 1Thread_num = 3class myThread(threading.Thread):    def __init__(self, q):        global Thread_id        threading.Thread.__init__(self)        self.q = q        self.Thread_id = Thread_id        Thread_id = Thread_id + 1    def run(self):        while True:            try:                task = self.q.get(block = True, timeout = 1) #不設定阻塞的話會一直去嘗試擷取資源            except Queue.Empty:                print 'Thread' ,  self.Thread_id , 'end'                break            #取到資料,開始處理(依據需求加處理代碼)            print "Starting " , self.Thread_id            print task            self.q.task_done()            print "Ending " , self.Thread_idq = Queue.Queue(10)#向資源集區裡面放10個數用作測試for i in range(10):    q.put(i)#開Thread_num個線程 for i in range(0, Thread_num):    worker = myThread(q)    worker.start()q.join() #等待所有的隊列資源都用完print "Exiting Main Thread"

結果如下

是不是感覺很亂,哈哈沒關係,這才是多線程的魅力所在。你永遠不知道是從哪個線程開始。
在這裡Queue作為資源集區,線程去從資源集區中取資料進行處理,可是為什麼需要用到Queue呢, 因為可能資源集區很大,而開的線程數有限,所以等一個線程處理完它的任務之後,它可以繼續去取資源處理。這就可以讓先執行完一個任務的線程不立即停下來,而是去取另一個資源處理,直到沒有資料的時候它才會停下來。簡單理解:q.task_done是表明當前的資源處理完了,q.join()會等到所有的資源都被處理了才會向下繼續執行,這就是一種同步。

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.