python3學習筆記之多進程分布式小例子,python3學習筆記

來源:互聯網
上載者:User

python3學習筆記之多進程分布式小例子,python3學習筆記

最近一直跟著廖大在學Python,關於分布式進程的小例子挺有趣的,這裡做個記錄。

分布式進程

Python的multiprocessing模組不但支援多進程,其中managers子模組還支援把多進程分布到多台機器上。一個服務進程可以作為調度者,將任務分布到其他多個進程中,依靠網路通訊。由於managers模組封裝很好,不必瞭解網路通訊的細節,就可以很容易地編寫分布式多進程程式。

master服務端原理:通過managers模組把Queue通過網路暴露出去,其他機器的進程就可以訪問Queue了
服務進程負責啟動Queue,把Queue註冊到網路上,然後往Queue裡面寫入任務,代碼如下:

#task_master.py#coding=utf-8#多進程分布式例子#伺服器端from multiprocessing.managers import BaseManagerfrom multiprocessing import freeze_support #server啟動報錯,提示需要引用此包import random,time,queue#發送任務的隊列task_queue = queue.Queue()#接收結果的隊列result_queue = queue.Queue()#從BaseManager繼承的QueueManagerclass QueueManager(BaseManager):  pass#win7 64 貌似不支援callable下調用匿名函數lambda,這裡封裝一下def return_task_queue():  global task_queue  return task_queuedef return_result_queue():  global result_queue  return result_queuedef test():  #把兩個Queue註冊到網路上,callable參數關聯了Queue對象  #QueueManager.register('get_task_queue',callable=lambda:task_queue)  #QueueManager.register('get_result_queue',callable=lambda:result_queue)  QueueManager.register('get_task_queue',callable=return_task_queue)  QueueManager.register('get_result_queue',callable=return_result_queue)  #綁定連接埠5000,設定驗證碼‘abc'  manager = QueueManager(address=('127.0.0.1',5000),authkey=b'abc')#這裡必須加上本地預設ip地址127.0.0.1  #啟動Queue  manager.start()  #server = manager.get_server()  #server.serve_forever()  print('start server master')  #獲得通過網路訪問的Queue對象  task = manager.get_task_queue()  result = manager.get_result_queue()  #放幾個任務進去  for i in range(10):    n = random.randint(0,10000)    print('put task %d...' % n)    task.put(n)  #從result隊列讀取結果  print('try get results...')  for i in range(10):    r = result.get(timeout=10)    print('result:%s' % r)  #關閉  manager.shutdown()  print('master exit')if __name__ == '__main__':  freeze_support()  test()

運行如下:


在分布式多進程環境下,新增工作到Queue不可以直接對原始的task_queue進行操作,那樣就繞過了QueueManager的封裝,必須通過manager.get_task_queue()獲得的Queue介面添加。

任務進程,代碼如下:

#task_worker.py#coding=utf-8#多進程分布式例子#非服務端:workerimport time,sys,queuefrom multiprocessing.managers import BaseManager#建立類似的QueueManagerclass QueueManager(BaseManager):  pass#由於這個QueueManager只從網路上擷取Queue,所以註冊時只提供名字即可QueueManager.register('get_task_queue')QueueManager.register('get_result_queue')#串連到伺服器,也就是運行task_master.py的機器server_addr = '127.0.0.1'print('connect to server %s...'% server_addr)#連接埠和驗證碼注意要保持完全一致m = QueueManager(address=(server_addr,5000),authkey=b'abc')#從網路連接m.connect()#擷取Queue的對象task = m.get_task_queue()result = m.get_result_queue()#從task隊列擷取任務,並把結果寫入result隊列for i in range(10):  try:    n = task.get(timeout=1)    print('run task %d * %d...'% (n,n))    r = '%d * %d = %d' % (n,n,n*n)    time.sleep(1)    result.put(r)  except queue.Empty:    print('task queue is empty')#處理結果print('worker exit')

 運行如下:

以上就是本文的全部內容,希望對大家的學習有所協助,也希望大家多多支援幫客之家。

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.