python的queue設計的是安全執行緒的,所以大傢伙放心用吧。
python多線程的一種簡單的實現如下:
#!/usr/bin/env python# -*- coding: utf-8 -*-import threadingimport timedef fun(argv): print 'in', argv time.sleep(2)threads = [] #用於儲存線程for i in range(5): #開5個線程 t = threading.Thread(target = fun, args = str(i)) threads.append(t)if __name__ == '__main__': #開始所有的線程 for i in threads: i.start() #保證線程執行完 for i in threads: i.join() print 'all over'
程式執行結果如下
使用threading可以很容易的開啟多線程,join的作用是用於線程同步,看自己的需求而定。
好了,現在進入正題,多線程+queue怎麼弄,先給出代碼
#!/usr/bin/env python# -*- coding: utf-8 -*-import Queueimport threadingimport timeThread_id = 1Thread_num = 3class myThread(threading.Thread): def __init__(self, q): global Thread_id threading.Thread.__init__(self) self.q = q self.Thread_id = Thread_id Thread_id = Thread_id + 1 def run(self): while True: try: task = self.q.get(block = True, timeout = 1) #不設定阻塞的話會一直去嘗試擷取資源 except Queue.Empty: print 'Thread' , self.Thread_id , 'end' break #取到資料,開始處理(依據需求加處理代碼) print "Starting " , self.Thread_id print task self.q.task_done() print "Ending " , self.Thread_idq = Queue.Queue(10)#向資源集區裡面放10個數用作測試for i in range(10): q.put(i)#開Thread_num個線程 for i in range(0, Thread_num): worker = myThread(q) worker.start()q.join() #等待所有的隊列資源都用完print "Exiting Main Thread"
結果如下
是不是感覺很亂,哈哈沒關係,這才是多線程的魅力所在。你永遠不知道是從哪個線程開始。
在這裡Queue作為資源集區,線程去從資源集區中取資料進行處理,可是為什麼需要用到Queue呢, 因為可能資源集區很大,而開的線程數有限,所以等一個線程處理完它的任務之後,它可以繼續去取資源處理。這就可以讓先執行完一個任務的線程不立即停下來,而是去取另一個資源處理,直到沒有資料的時候它才會停下來。簡單理解:q.task_done是表明當前的資源處理完了,q.join()會等到所有的資源都被處理了才會向下繼續執行,這就是一種同步。