標籤:python paramiko threadpool
前面我們學校裡如何建立多線程,當我們接到一個新的請求時,會建立一個線程,執行完畢之後又銷毀掉這個線程。對於一些數目巨大,但是單個快速執行的任務,每個任務真正執行消耗的時間和線程建立銷毀的時間可能都差不多。這樣一來,線程的效率浪費的比較嚴重。因此可以考慮使用線程池的技術,預先建立一些閒置線程,當他們接收具體任務的時候,就去直接執行了,執行完了也不銷毀,接著執行下一個任務。
Python裡面,因為暫時還沒有功能完備的線程池,因此這部分功能需要自己實現。
實現的基本原理是建立一個隊列,把填充的任務資料一個個地塞進去;然後建立一個線程池,線程池裡面的線程不斷地讀取隊列裡面的任務資料,執行任務,直到所有的任務都完成。
下面是我寫的類比Fabric批量遠程操作的部分代碼,paramiko模組可以讓我遠端進行ssh串連;對於每個串連,我嘗試使用了線程池。
#!/usr/bin/env python# -*- coding:utf-8 -*-# Author Yuan Li""" 本程式類比Fabric,遠端批量進行SSH串連,可以執行下載,上傳和shell命令執行。 遠程命令的執行,使用了線程池的技術,因為執行的時間比較少,而線程本身執行的時間占的比重比較大; 對於下載和上傳,因為本身就是比較消耗時間的操作,因此每個串連單獨使用了線程建立和銷毀,因為時間比較久,線程的時間可以忽略了"""import threadingimport queueimport timeimport paramikoimport os#找到相對路徑parent_path = os.path.abspath(os.pardir)db_path=os.path.join(parent_path,‘db‘)#一個管理類,基本思路是把任務和相關的參數填充到隊列(任務池)中,然後建立一個進程池,裡面的進程迴圈地讀取任務池裡面的內容,任何執行其中的內容,直到所有任務全部實現。class workmanager(object): #建構函式 def __init__(self,cmd,username,password,work_num=1000,thread_num=2,): """ :param cmd:遠程命令 :param username: 使用者名稱 :param password: 密碼 :param work_num: 任務池(隊列大小) :param thread_num: 線程池大小 """ self.cmd=cmd self.work_num=work_num self.thread_num=thread_num self.queue=queue.Queue() self.threads=[] self.init_task(work_num,cmd,username,password) self.init_threadpool(thread_num) #初始化任務池 def init_task(self,num,inp,username,password): for i in range(num): self.add_job(do_job,i,inp,username,password) #新增工作到任務池 def add_job(self,job,*args): #填充任務到任務池,每一個任務是一個元祖(任務,參數列表) self.queue.put((job,list(args))) #初始化線程池 def init_threadpool(self,num): for i in range(num): self.threads.append(work(self.queue)) #等待掛起主線程 def wait_allcomplete(self): for item in self.threads: if item.isAlive(): item.join()#線程類,每個線程迴圈地去任務池取任務class work(threading.Thread): def __init__(self,que): super(work, self).__init__() self.queue=que self.start() def run(self): while True: try: #當任務池為空白的時候,強制報錯,退出 do,args=self.queue.get(block=False) # print(do,args) do(args[0],args[1],args[2],args[3]) #確保隊列裡面的任務都完成了 self.queue.task_done() except: break#初始化的一個主機群組,測試用的hosts=[‘anoble-ise‘,‘bberry-ise‘,‘blackbr-ise‘,‘jlau-ise‘,‘kwood-ise‘,‘marwa-ise‘,‘smaroo-ise‘,‘psekarwin-ise‘,‘spare2-ise‘]#遠端連線SSH並且執行命令def do_job(args,inp,username,password): """ :param args: hosts列表的索引 :param inp: 遠程命令 :param username: 使用者名稱 :param password: 密碼 :return: """ # time.sleep(0.1) ssh = paramiko.SSHClient() ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) ssh.connect(hosts[args], 22, username, password) # 執行命令測試 stdin, stdout, stderr = ssh.exec_command(inp) for line in stdout.readlines(): print(line.strip()) print(("\x1b[5;19;32m %s \x1b[0m" % hosts[args]).center(40,‘*‘)) print("\n")#選擇主機群組username=""password=""#入口檔案def display(): global hosts,username,password msg=""" 歡迎使用Fabric類比程式,您可以執行以下操作 1.顯示主機群組 2.批量執行遠程命令 3.批量上傳 4.批量下載 5.輸入管理員帳號 6.退出 """ while True: print(msg) inpt=input("請輸入選項") #輸出主機群組的相關資訊 if inpt==‘1‘:pass #遠程大量操作 elif inpt==‘2‘: # username=input("使用者名稱") # password=input("密碼") if not username: print("請先配置登入帳號資訊") else: while True: inp = input("輸入指令(q返回上級目錄)\n>>>") if inp ==‘q‘:break if not inp: print("不能輸入空命令") else: start = time.time() #指定命令,使用者名稱,密碼,任務池(隊列)的大小,和線程的個數) work_manager = workmanager(inp,username,password, len(hosts), 2) work_manager.wait_allcomplete() end = time.time() print("Cost time is %s" % (end - start)) #建立批量上傳的多線程 elif inpt==‘3‘: pass #建立批量下載的多線程 elif inpt==‘4‘: pass elif inpt==‘5‘: username = input("使用者名稱") password = input("密碼") elif inpt==‘6‘: exit("退出程式") else: print("無效輸入,請重試")if __name__ == ‘__main__‘: display()
本文出自 “麻婆豆腐” 部落格,請務必保留此出處http://beanxyz.blog.51cto.com/5570417/1868230
Python 學習筆記 - 線程池