twisted之python代碼解釋

標籤：protocol   伺服器   python   server   import   

什麼是twisted？

twisted是一個用python語言寫的事件驅動的網路架構，他支援很多種協議，包括UDP,TCP,TLS和其他應用程式層協議，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。 非常好的一點是twisted實現和很多應用程式層的協議，開發人員可以直接只用這些協議的實現。其實要修改Twisted的SSH伺服器端實現非常簡單。很多時候，開發人員需要實現protocol類。

一個Twisted程式由reactor發起的主迴圈和一些回呼函數組成。當事件發生了，比如一個client串連到了server，這時候伺服器端的事件會被觸發執行。

用Twisted寫一個簡單的TCP伺服器

下面的代碼是一個TCPServer，這個server記錄用戶端發來的資料資訊。

==== code1.py ====import sys from twisted.internet.protocol import ServerFactory from twisted.protocols.basic import LineReceiver from twisted.python import log from twisted.internet import reactor   class CmdProtocol(LineReceiver):     delimiter = ‘\n‘    def connectionMade(self):     self.client_ip = self.transport.getPeer()[1]     log.msg("Client connection from %s" % self.client_ip)     if len(self.factory.clients) >= self.factory.clients_max:       log.msg("Too many connections. bye !")       self.client_ip = None      self.transport.loseConnection()     else:       self.factory.clients.append(self.client_ip)     def connectionLost(self, reason):     log.msg(‘Lost client connection. Reason: %s‘ % reason)     if self.client_ip:       self.factory.clients.remove(self.client_ip)     def lineReceived(self, line):     log.msg(‘Cmd received from %s : %s‘ % (self.client_ip, line))   class MyFactory(ServerFactory):     protocol = CmdProtocol     def __init__(self, clients_max=10):     self.clients_max = clients_max     self.clients = []   log.startLogging(sys.stdout) reactor.listenTCP(9999, MyFactory(2)) reactor.run() 

下面的代碼至關重要：

 from twisted.internet import reactor reactor.run() 

這兩行代碼會啟動reator的主迴圈。

在上面的代碼中我們建立了"ServerFactory"類，這個工廠類負責返回“CmdProtocol”的執行個體。 每一個串連都由執行個體化的“CmdProtocol”執行個體來做處理。 Twisted的reactor會在TCP串連上後自動建立CmdProtocol的執行個體。如你所見，protocol類的方法都對應著一種事件處理。

當client連上server之後會觸發“connectionMade"方法，在這個方法中你可以做一些鑒權之類的操作，也可以限制用戶端的串連總數。每一個protocol的執行個體都有一個工廠的引用，使用self.factory可以訪問所在的工廠執行個體。

上面實現的”CmdProtocol“是twisted.protocols.basic.LineReceiver的子類，LineReceiver類會將用戶端發送的資料按照分行符號分隔，每到一個分行符號都會觸發lineReceived方法。稍後我們可以增強LineReceived來解析命令。

Twisted實現了自己的日誌系統，這裡我們配置將日誌輸出到stdout

當執行reactor.listenTCP時我們將工廠綁定到了9999連接埠開始監聽。

 [email protected]:~/TMP$ python code1.py 2011-08-29 13:32:32+0200 [-] Log opened. 2011-08-29 13:32:32+0200 [-] __main__.MyFactory starting on 99992011-08-29 13:32:32+0200 [-] Starting factory <__main__.MyFactory instance at 0x227e3202011-08-29 13:32:35+0200 [__main__.MyFactory] Client connection from 127.0.0.12011-08-29 13:32:38+0200 [CmdProtocol,0,127.0.0.1] Cmd received from 127.0.0.1 : hello server 

使用Twisted來調用外部進程

下面我們給前面的server添加一個命令，通過這個命令可以讀取/var/log/syslog的內容

import sys import os   from twisted.internet.protocol import ServerFactory, ProcessProtocol from twisted.protocols.basic import LineReceiver from twisted.python import log from twisted.internet import reactor   class TailProtocol(ProcessProtocol):   def __init__(self, write_callback):     self.write = write_callback     def outReceived(self, data):     self.write("Begin lastlog\n")     data = [line for line in data.split(‘\n‘) if not line.startswith(‘==‘)]     for d in data:       self.write(d + ‘\n‘)     self.write("End lastlog\n")     def processEnded(self, reason):     if reason.value.exitCode != 0:       log.msg(reason)   class CmdProtocol(LineReceiver):     delimiter = ‘\n‘    def processCmd(self, line):     if line.startswith(‘lastlog‘):       tailProtocol = TailProtocol(self.transport.write)       reactor.spawnProcess(tailProtocol, ‘/usr/bin/tail‘, args=[‘/usr/bin/tail‘, ‘-10‘, ‘/var/log/syslog‘])     elif line.startswith(‘exit‘):       self.transport.loseConnection()     else:       self.transport.write(‘Command not found.\n‘)     def connectionMade(self):     self.client_ip = self.transport.getPeer()[1]     log.msg("Client connection from %s" % self.client_ip)     if len(self.factory.clients) >= self.factory.clients_max:       log.msg("Too many connections. bye !")       self.client_ip = None      self.transport.loseConnection()     else:       self.factory.clients.append(self.client_ip)     def connectionLost(self, reason):     log.msg(‘Lost client connection. Reason: %s‘ % reason)     if self.client_ip:       self.factory.clients.remove(self.client_ip)     def lineReceived(self, line):     log.msg(‘Cmd received from %s : %s‘ % (self.client_ip, line))     self.processCmd(line)   class MyFactory(ServerFactory):     protocol = CmdProtocol     def __init__(self, clients_max=10):     self.clients_max = clients_max     self.clients = []   log.startLogging(sys.stdout) reactor.listenTCP(9999, MyFactory(2)) reactor.run() 

在上面的代碼中，沒從用戶端接收到一行內容後會執行processCmd方法，如果收到的一行內容是exit命令，那麼伺服器端會中斷連線，如果收到的是lastlog，我們要吐出一個子進程來執行tail命令，並將tail命令的輸出重新導向到用戶端。這裡我們需要實現ProcessProtocol類，需要重寫該類的processEnded方法和outReceived方法。在tail命令有輸出時會執行outReceived方法，當進程退出時會執行processEnded方法。

如下是執行結果範例：

 [email protected]:~/TMP$ python code2.py 2011-08-29 15:13:38+0200 [-] Log opened. 2011-08-29 15:13:38+0200 [-] __main__.MyFactory starting on 99992011-08-29 15:13:38+0200 [-] Starting factory <__main__.MyFactory instance at 0x1a5a3f8> 2011-08-29 15:13:47+0200 [__main__.MyFactory] Client connection from 127.0.0.12011-08-29 15:13:58+0200 [CmdProtocol,0,127.0.0.1] Cmd received from 127.0.0.1 : test 2011-08-29 15:14:02+0200 [CmdProtocol,0,127.0.0.1] Cmd received from 127.0.0.1 : lastlog 2011-08-29 15:14:05+0200 [CmdProtocol,0,127.0.0.1] Cmd received from 127.0.0.1 : exit 2011-08-29 15:14:05+0200 [CmdProtocol,0,127.0.0.1] Lost client connection. Reason: [Failure instance: Traceback (failure with no frames): <class ‘twisted.internet.error.ConnectionDone‘>: Connection was closed cleanly. 

可以使用下面的命令作為用戶端發起命令：

[email protected]:~$ netcat 127.0.0.1 9999test Command not found. lastlog Begin lastlog Aug 29 15:02:03 lab sSMTP[5919]: Unable to locate mail Aug 29 15:02:03 lab sSMTP[5919]: Cannot open mail:25Aug 29 15:02:03 lab CRON[4945]: (CRON) error (grandchild #4947 failed with exit status 1) Aug 29 15:02:03 lab sSMTP[5922]: Unable to locate mail Aug 29 15:02:03 lab sSMTP[5922]: Cannot open mail:25Aug 29 15:02:03 lab CRON[4945]: (logcheck) MAIL (mailed 1 byte of output; but got status 0x0001, #012) Aug 29 15:05:01 lab CRON[5925]: (root) CMD (command -v debian-sa1 > /dev/null && debian-sa1 1 1) Aug 29 15:10:01 lab CRON[5930]: (root) CMD (test -x /usr/lib/atsar/atsa1 && /usr/lib/atsar/atsa1) Aug 29 15:10:01 lab CRON[5928]: (CRON) error (grandchild #5930 failed with exit status 1) Aug 29 15:13:21 lab pulseaudio[3361]: ratelimit.c: 387 events suppressed      End lastlog exit 

使用Deferred對象

reactor是一個迴圈，這個迴圈在等待事件的發生。 這裡的事件可以是資料庫操作，也可以是長時間的計算操作。 只要這些操作可以返回一個Deferred對象。Deferred對象可以自動得在事件發生時觸發回呼函數。reactor會block當前代碼的執行。

現在我們要使用Defferred對象來計算SHA1雜湊。

import sys import os import hashlib   from twisted.internet.protocol import ServerFactory, ProcessProtocol from twisted.protocols.basic import LineReceiver from twisted.python import log from twisted.internet import reactor, threads   class TailProtocol(ProcessProtocol):   def __init__(self, write_callback):     self.write = write_callback     def outReceived(self, data):     self.write("Begin lastlog\n")     data = [line for line in data.split(‘\n‘) if not line.startswith(‘==‘)]     for d in data:       self.write(d + ‘\n‘)     self.write("End lastlog\n")     def processEnded(self, reason):     if reason.value.exitCode != 0:       log.msg(reason)   class HashCompute(object):   def __init__(self, path, write_callback):     self.path = path     self.write = write_callback     def blockingMethod(self):     os.path.isfile(self.path)     data = file(self.path).read()     # uncomment to add more delay     # import time     # time.sleep(10)     return hashlib.sha1(data).hexdigest()     def compute(self):     d = threads.deferToThread(self.blockingMethod)     d.addCallback(self.ret)     d.addErrback(self.err)     def ret(self, hdata):     self.write("File hash is : %s\n" % hdata)     def err(self, failure):     self.write("An error occured : %s\n" % failure.getErrorMessage())   class CmdProtocol(LineReceiver):     delimiter = ‘\n‘    def processCmd(self, line):     if line.startswith(‘lastlog‘):       tailProtocol = TailProtocol(self.transport.write)       reactor.spawnProcess(tailProtocol, ‘/usr/bin/tail‘, args=[‘/usr/bin/tail‘, ‘-10‘, ‘/var/log/syslog‘])     elif line.startswith(‘comphash‘):       try:         useless, path = line.split(‘ ‘)       except:         self.transport.write(‘Please provide a path.\n‘)         return      hc = HashCompute(path, self.transport.write)       hc.compute()     elif line.startswith(‘exit‘):       self.transport.loseConnection()     else:       self.transport.write(‘Command not found.\n‘)     def connectionMade(self):     self.client_ip = self.transport.getPeer()[1]     log.msg("Client connection from %s" % self.client_ip)     if len(self.factory.clients) >= self.factory.clients_max:       log.msg("Too many connections. bye !")       self.client_ip = None      self.transport.loseConnection()     else:       self.factory.clients.append(self.client_ip)     def connectionLost(self, reason):     log.msg(‘Lost client connection. Reason: %s‘ % reason)     if self.client_ip:       self.factory.clients.remove(self.client_ip)     def lineReceived(self, line):     log.msg(‘Cmd received from %s : %s‘ % (self.client_ip, line))     self.processCmd(line)   class MyFactory(ServerFactory):     protocol = CmdProtocol     def __init__(self, clients_max=10):     self.clients_max = clients_max     self.clients = []   log.startLogging(sys.stdout) reactor.listenTCP(9999, MyFactory(2)) reactor.run() 

blockingMethod從檔案系統讀取一個檔案計算SHA1，這裡我們使用twisted的deferToThread方法，這個方法返回一個Deferred對象。這裡的Deferred對象是調用後馬上就返回了，這樣主進程就可以繼續執行處理其他的事件。當傳給deferToThread的方法執行完畢後會馬上觸發其回呼函數。如果執行中出錯，blockingMethod方法會拋出異常。如果成功執行會通過hdata的ret返回計算的結果。

codego.net代碼節選

twisted之python代碼解釋