淺談python多線程和隊列管理shell程式

首先來描述下環境，在機器上有很多個JAVA程式，我們在每個JAVA程式裡都配置了一個啟動|停止|重啟的指令碼

舉個例子：

我們現在要同時運行這些指令碼，來達到快速啟動所有的JAVA程式，如果我們只用多線程的話，線程是不會返回訊息給父進程，我們如何才能知道這些程式是啟動成功了呢？

所以我們用到了隊列來管理。

"""我試過gevent,但是會在command這裡造成阻塞"""

gevent代碼如下 如果有朋友知道如何最佳化，請您告訴我

#!/usr/bin/python2.7# -*- coding:utf-8 -*-import os,sysfrom datetime import datetimeimport commandsimport gevent.monkeygevent.monkey.patch_os()import gevent def Servers():  servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')  servers=servers.split('\n')  return servers def handle(servername):  if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':    print '\033[1;31;40m'    print '========================>>>go to handle %s<<<=========================' %servername    print '\033[0m'    r=commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1]))  #在這裡會阻塞，我們無法找到合適的地方進行協程的切換    gevent.sleep(0)        #無論放到何處，不是之前就是切換之後都會阻塞。    print r  else:    print 'Please Use start | stop | restart To Handle The Command'    sys.exit(1)   if __name__ == '__main__':  s=Servers()  threads=[]  for i in s:    threads.append(gevent.spawn(handle,i))#  print threads  gevent.joinall(threads)

多線程代碼如下

#!/usr/bin/python2.7# -*- coding:utf-8 -*- from datetime import datetimeimport commandsfrom Queue import Queuefrom threading import Thread _sentinel = object() def Servers():  servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')  servers=servers.split('\n')  return servers def producer(servername,out_q):  if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':    print '\033[1;31;40m'    print '========================>>>put %s in Queue<<<=========================' %servername    print '\033[0m'    out_q.put_nowait(commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1])))  #放入隊列的對象       else:    print 'Please Use start | stop | restart To Handle The Command'    sys.exit(1) def consumer(servername,in_q):  n=len(servername)  while n > 0:             #迴圈在隊列中取結果，直到迴圈結束    data=in_q.get()    n -= 1    print '\033[1;31;40m'    print data    print '\033[0m'  print '\033[1;31;40m'  print 'consumer was done!!!!!!!'  print '\033[0m'  if __name__ == '__main__':  s=Servers()  q = Queue()  t1 = Thread(target=consumer, args=(s,q,))      #消費者在隊列中擷取結果，前面的函數內部已經迴圈擷取  for i in s:    t2=Thread(target=producer, args=(i,q,))     #講線程進行管理，放入隊列    t2.start()                   #啟動生產者線程#    t2.join()                   #啟動生產者以後放棄校正線程是否結束，進行並發，因為我們是把線程放入隊列進行管理的，所以不用在這裡等待線程結束，如果使用了join這裡會阻塞我們的程式。線程結束後，消費者會通知父進程線程已經結束。  t1.start()                     #啟動消費者線程  t1.join()                      #在擷取完成之前進行線程的阻塞

簡單的說下join這個方法：

調用Thread.join將會使主調線程堵塞，直到被調用線程運行結束或逾時。參數timeout是一個數實值型別，表示逾時時間，如果未提供該參數，那麼主調線程將一直堵塞到被調線程結束。

以上所述就是本文的全部內容了，希望大家能夠喜歡。

