Python控制多進程與多線程並發數總結_python

一、前言

本來寫了指令碼用於暴力破解密碼，可是1秒鐘嘗試一個密碼2220000個密碼我的天，想用多線程可是只會一個for全開，難道開2220000個線程嗎？只好學習控制線程數了，官方文檔不好看，覺得結構不夠清晰，網上找很多文章也都不很清晰，只有for全開線程，沒有控制線程數的具體說明，最終終於根據多篇文章和官方文檔算是搞明白基礎的多線程怎麼實現法了，怕長時間不用又忘記，找著麻煩就貼這了，跟我一樣新手也可以參照參照。

先說進程和線程的區別：

1. 地址空間:進程內的一個執行單元;進程至少有一個線程;它們共用進程的地址空間;而進程有自己獨立的地址空間;
2. 資源擁有:進程是資源分派和擁有的單位,同一個進程內的線程共用進程的資源
3. 線程是處理器調度的基本單位,但進程不是.
4. 二者均可並發執行.

不能理解的話簡單打比方就是一個進程就像一個程式一樣，並發互不干擾。一個進程靠一個或多個線程執行處理，並發的線程是cpu在不停的來回切換執行，當然是快到你感覺不出的。

拿上面我遇到的困難來說吧，大量的資料需要執行相同的處理，一個操作中間可能會有一些等待時間，一個一個執行浪費大量時間，那麼就同時執行吧，我們可以用兩種並行辦法：

進程並行或者線程並行

各有優缺點，要看情況，不是絕對的，在此不討論這個，這引出下面兩種Python平行處理方法（注釋感覺很清晰詳細了，不再多說）

二、進程處理方法

#coding:utf-8import randomfrom time import sleepimport sysimport multiprocessingimport os##需求分析：有大批量資料需要執行，而且是重複一個函數操作（例如爆破密碼），如果全部開始線程數N多，這裡控制住線程數m個並存執行，其他等待#lock=multiprocessing.Lock()#一個鎖def a(x):#類比需要重複執行的函數  lock.acquire()#輸出時候上鎖，否則進程同時輸出時候會混亂，不可讀  print '開始進程：',os.getpid(),'類比進程時間:',x  lock.release()    sleep(x)#類比執行操作    lock.acquire()  print '結束進程：',os.getpid(),'預測下一個進程啟動會使用該進程號'  lock.release()list=[]for i in range(10):#產生一個隨機數數組，類比每次調用函數需要的輸入，這裡類比總共有10組需要處理  list.append(random.randint(1,10))  pool=multiprocessing.Pool(processes=3)#限制並行進程數為3pool.map(a,list)#建立進程池，調用函數a，傳入參數為list,此參數必須是一個可迭代對象,因為map是在迭代建立每個進程

輸出：

三、線程處理方法：

#coding:utf-8import threadingimport randomimport Queuefrom time import sleepimport sys##需求分析：有大批量資料需要執行，而且是重複一個函數操作（例如爆破密碼），如果全部開始線程數N多，這裡控制住線程數m個並存執行，其他等待##繼承一個Thread類，在run方法中進行需要重複的單個函數操作class Test(threading.Thread):  def __init__(self,queue,lock,num):    #傳遞一個隊列queue和線程鎖，並行數    threading.Thread.__init__(self)    self.queue=queue    self.lock=lock    self.num=num  def run(self):    #while True:#不使用threading.Semaphore，直接開始所有線程，程式執行完畢線程都還不死，最後的print threading.enumerate()可以看出    with self.num:#同時並行指定的線程數量，執行完畢一個則死掉一個線程      #以下為需要重複的單次函數操作      n=self.queue.get()#等待隊列進入      lock.acquire()#鎖住線程，防止同時輸出造成混亂      print '開始一個線程：',self.name,'類比的執行時間：',n      print '隊列剩餘：',queue.qsize()      print threading.enumerate()      lock.release()      sleep(n)#執行單次操作，這裡sleep類比執行過程      self.queue.task_done()#發出此隊列完成訊號threads=[]queue=Queue.Queue()lock=threading.Lock()num=threading.Semaphore(3)#設定同時執行的線程數為3，其他等待執行#啟動所有線程for i in range(10):#總共需要執行的次數  t=Test(queue,lock,num)  t.start()  threads.append(t)  #吧隊列傳入線程，是run結束等待開始執行，放下面單獨一個for也行，這裡少個迴圈吧  n=random.randint(1,10)  queue.put(n)#類比執行函數的逐個不同輸入#吧隊列傳入線程，是run結束等待開始執行#for t in threads:#  n=random.randint(1,10)#  queue.put(n)#等待線程執行完畢for t in threads:  t.join()queue.join()#等待隊列執行完畢才繼續執行，否則下面語句會線上程未接受就開始執行print '所有執行完畢'print threading.active_count()print threading.enumerate()

輸出：

以上就是本文的全部內容，希望對大家的學習有所協助，也希望大家多多支援雲棲社區。