python 進程池的使用

標籤：roc   int   sync   blog   pool   instance   pass   range   span   

python的線程無法很好的利用到多cpu的功能，所以大家都比較推薦多進程

下面是進程池的用法，我這裡是清洗redis的到期內容

close和join一定要做，否則會佔用記憶體

import multiprocessing

def process_redis(time_range):
    pass  # 這裡不詳細寫了

def clear_timeout_redis():    while 1:        try:            p_pool = multiprocessing.Pool(processes=6)    # processes 預設是cpu個數            addTime = time.time()            hash_field = addTime // 60 * 60 - 660            ikeys = r.keys("instance_*")     # r是redis的pool            for ikey in ikeys:                time_range = ikey.split("_")[1]                if int(time_range) < hash_field:                    p_pool.apply_async(process_redis, (time_range, ))  # 這裡是非同步任務和普通起進程用法一樣        except:            logging.error(traceback.format_exc())        p_pool.close()          p_pool.join()     # 記得要close（），join（）        time.sleep(0)

python 進程池的使用