python分布式進程

標籤：manager   main   address   分配   ret   通訊   start   call   pre   

分布式進程可以布置在區域網路之中，把安排的任務註冊到區域網路內，不同主機之間就可以傳遞資訊，從而分配任務和反饋，不過並不適合返回大量資料；

首先需要一個伺服器server，用來存放資料，其他機器通過區域網路內ip訪問到：

# -*- coding: utf-8 -*-#註冊進程，manager/serverimport multiprocessingfrom multiprocessing.managers import BaseManagerfrom multiprocessing import freeze_support# 從BaseManager繼承的QueueManager:class QueueManager(BaseManager):    pass# 發送任務的隊列:task_queue = multiprocessing.Queue()# 接收結果的隊列:result_queue = multiprocessing.Queue()# 為解決__main__.<lambda> not found問題def get_task_queue():    return task_queue# 為解決__main__.<lambda> not found問題def get_result_queue():    return result_queue# 把兩個Queue都註冊到網路上, callable參數關聯了Queue對象:QueueManager.register(‘get_task_queue‘, callable=get_task_queue)QueueManager.register(‘get_result_queue‘, callable=get_result_queue)# 綁定連接埠5000, 設定驗證碼‘abc‘:manager = QueueManager(address=(‘192.168.10.138‘, 5000), authkey=‘abc‘)freeze_support()#manager.start() 不能正常運行時，使用以下方法作為進程通訊伺服器server = manager.get_server()server.serve_forever()

使用server.serve_forever()來開啟進程通訊伺服器，本身進程就阻塞了，永遠地作為通訊資料的儲存進程。
其他進程可以訪問、修改 伺服器處理序的通訊資料來達到傳輸資訊的目的。

# _*_ coding:utf-8 _*_""" a work manager sample """import Queuefrom multiprocessing.managers import BaseManagerimport timeclass QueueManager(BaseManager):    pass    # 從網路上擷取QueueQueueManager.register(‘get_task_queue‘)QueueManager.register(‘get_result_queue‘)# 串連伺服器server_addr = ‘192.168.10.141‘print ‘Connect to server %s ...‘ % server_addrmanager = QueueManager(address=(server_addr, 5000), authkey=‘abc‘)manager.connect()# 擷取Queue對象task = manager.get_task_queue()result = manager.get_result_queue()

注意註冊到伺服器的ip和連接埠要和通訊伺服器端的一致。

區域網路內各進程間接地通過 伺服器來交換資訊。

 

python分布式進程