分散式運算--(分布式+多進程+多線程+多協程)

標籤：簡單   [1]   迴圈   sem   127.0.0.1   ip地址   slist   註冊   start   

先來個最簡單的例子：

把1-10000每個數求平方

伺服器server：

用兩個佇列儲存體任務、結果

定義兩個函數

要實現分布式得繼承multiprocessing.managers.BaseManager

在主函數裡multiprocessing.freeze_support()開啟分布式支援

註冊兩個函數給用戶端調用

建立管理器，設定ip地址和開啟連接埠、連結密碼。

用兩個隊列加任務、收結果。用剛剛註冊的函數

把1-10000壓入隊列，

把結果壓入隊列

最後完成關閉伺服器

用戶端client：

也需要繼承multiprocessing.managers.BaseManager

定義一個協程處理一個資料，同時把結果壓入結果隊列

定義一個線程處理10個資料，開啟10個協程

定義一個進程，進程驅動10個線程

主函數：同用戶端註冊兩個函數

同用戶端建立管理器，設定ip地址和開啟連接埠、連結密碼。

連結的伺服器

同用戶端調用註冊的函數，兩個隊列

 

套四層迴圈：10個進程、100個線程、1000個協程

迴圈進程函數

 

上代碼：

伺服器server：

#coding:utf-8import multiprocessing  #分布式進程import multiprocessing.managers #分布式進程管理器import random,time  #隨機數，時間import Queue #隊列task_queue=Queue.Queue() #任務result_queue=Queue.Queue() #結果def  return_task(): #返回任務隊列    return task_queuedef return_result(): #返回結果隊列    return   result_queueclass  QueueManger(multiprocessing.managers.BaseManager):#繼承，進程管理共用資料    passif __name__=="__main__":    multiprocessing.freeze_support()#開啟分布式支援    QueueManger.register("get_task",callable=return_task)#註冊函數給用戶端調用    QueueManger.register("get_result", callable=return_result)    manger=QueueManger(address=("192.168.112.11",8848),authkey="123456") #建立一個管理器，設定地址與密碼    manger.start() #開啟    task,result=manger.get_task(),manger.get_result() #任務，結果    for  i  in range(10000):        print "task add data",i        task.put(i)    print "waitting for------"    for  i  in range(10000):        res=result.get(timeout=100)        print "get data",res    manger.shutdown()#關閉伺服器

用戶端client：

#coding:utf-8import multiprocessing  #分布式進程import multiprocessing.managers  # 分布式進程管理器import random,time  #隨機數，時間import Queue #隊列import threadingimport geventimport gevent.monkeyclass  QueueManger(multiprocessing.managers.BaseManager):# 繼承，進程管理共用資料    passdef  gevetygo(num ,result): #協程處理一個資料    print num*num    result.put(num*num)def  threadgo(datalist,result): # 線程處理10個資料，開啟10個協程    tasklist=[]    for  data  in datalist:        tasklist.append(gevent.spawn(gevetygo, data,result))    gevent.joinall(tasklist)def  processgo(ddatalist,result): # [[1,2,3],[4,5,6]] 進程驅動了10個線程    threadlist=[]    for  datalist in ddatalist:        mythread=threading.Thread(target=threadgo,args=(datalist,result))        mythread.start()        threadlist.append(mythread)    for mythread in threadlist:        mythread.join()if __name__=="__main__":    QueueManger.register("get_task")  # 註冊函數調用伺服器    QueueManger.register("get_result")    manger=QueueManger(address=("192.168.112.11",8848),authkey="123456")    manger.connect()  # 連結的伺服器    task= manger.get_task()    result =manger.get_result()  # 任務，結果    # 1000    # 10個進程    # 100個線程    # 1000個協程    for  i  in range(10):        cubelist = []  # [[[1],[2]]]        for j in range(10):            arealist = []            for k in range(10):                linelist = []                for l in range(10):                    data = task.get()                    linelist.append(data)                arealist.append(linelist)            cubelist.append(arealist)        processlist = []        for myarealist in cubelist:            process = multiprocessing.Process(target=processgo, args=(myarealist, result))            process.start()            processlist.append(process)        for process in processlist:            process.join()

 

遇到的坑：一個月之前弄分布式的時候寫ip地址怎麼都開啟不了，後來換了台電腦就支援了= =。

如果只是在自己電腦上弄的話，寫127.0.0.1也可以運行，如果你也遇到ip地址怎麼都開啟不了的情況

 

分散式運算--(分布式+多進程+多線程+多協程)