python多進程使用函數封裝

標籤：sys   append   python   children   執行   super   欄位   elf   方法   

import multiprocessing as mpfrom multiprocessing import Processclass MyProcess(Process):    """    自訂多進程，繼承自原生Process,目的是擷取多進程結果到queue    """    def __init__(self, func, args, q):        super(MyProcess, self).__init__()        self.func = func        self.args = args        self.res = ''        self.q = q        #self._daemonic = True        #self._daemonic = True    def run(self):        self.res = self.func(*self.args)        self.q.put((self.func.__name__, self.res))    def use_multiprocessing(func_list):    #os.system('export PYTHONOPTIMIZE=1')  # 解決 daemonic processes are not allowed to have children 問題    q = mp.Queue()  # 隊列,將多進程結果存入這裡，進程間共用， 多進程必須使用  multiprocessing 的queue    proc_list = []    res = []    for func in func_list:        proc = MyProcess(func['func'], args=func['args'], q=q)        proc.start()        proc_list.append(proc)    for p in proc_list:        p.join()    while not q.empty():        r = q.get()        res.append(r)    return res     使用時候，將需要多進程執行的函數和函數的參數當作欄位，組成個list 傳給use_multiprocessing 方法即可

python多進程使用函數封裝