使用Python的Tornado架構實現一個簡單的WebQQ機器人

我打算將WebQQ單獨出來運行, 一開始直接拷貝了pyxmpp2的mainloop, 但是跑起來問題多多, 所以我又研究了利用Tornado進行網路編程(這裡), 所以我放棄了Pyxmpp2的mainloop,使用Tornado進行重寫

首先放出項目代碼
引子

WebQQ協議是一套基於HTTP的QQ協議, 而用Python的urllib2庫進行請求太慢, 因為HTTP本身就使用socket請求, 所以改用多工I/O模型, 而Tornado簡單高效, 看過代碼後可以輕鬆上手.平台相容性很好, 所以選擇Tornado作為網路架構.
原理

首先實現了一個 HTTPStream類, 其主要介面是add_request方法, 它接受一個必選參數:request 是一個 urllib2.Request的執行個體, 和一個選擇性參數:readback是一個接受一個urllib2.urlopen(request)返回的Response參數的讀取函數, 代碼如下:

class HTTPStream(object):  # 省略若干代碼  def add_request(self, request, readback = None):    if not isinstance(request, urllib2.Request):      raise ValueError, "Not a invaid requset"    # 此處易觸發timeout異常, 省略處理異常代碼    sock, data = self.http_sock.make_http_sock_data(request)    fd = sock.fileno()    self.fd_map[fd] = sock    self.fd_request_map[fd] = request    callback = partial(self._handle_events, request, data, readback)    self.ioloop.add_handler(fd, callback, IOLoop.WRITE)

HTTPStream.add_request將urllib2.Request的執行個體解析出一個socket和一個用於socket發送的資料.前面文章介紹過了, tornado.ioloop.IOLoop.add_handler用於將註冊socket, 其需要三個參數: socket的檔案描述符, 接受檔案描述符和事件參數的回調, 和註冊的事件.

我們用到的回調是HTTPStream._handle_events:

class HTTPStream(object):  # 省略若干代碼  def _handle_events(self, request, data, readback, fd, event):    """ 用於處理Tornado事件    Arguments:      `request`  -  urllib.Request      `data`   -  socket要寫入的資料      `readback` -  讀取函數      以上參數應當使用partial封裝然後將此方法作為IOLoop.add_handler的callback      `fd`    -  IOLoop傳遞 檔案描述符      `event`   -  IOLoop傳遞 tornado    """    s = self.fd_map[fd]    if event & IOLoop.READ:      # 省略錯誤處理      resp = self.http_sock.make_response(s, request)      args = readback(resp)      s.setblocking(False)      if args and len(args) == 3:        t = threading.Thread(target = self.add_delay_request, args = args)        t.setDaemon(True)        t.start()      if args and len(args) == 2:        self.add_request(*args)      self.ioloop.remove_handler(fd)    if event & IOLoop.WRITE:      s.sendall(data)      if readback:        self.ioloop.update_handler(fd, IOLoop.READ)      else:        self.ioloop.remove_handler(fd)    if event & IOLoop.ERROR:      pass

它接受的參數上面注釋寫的很清楚, 不做解釋, 所以將此方法通過functools.partial封裝做為callback傳遞給tornado.ioloop.IOLoop.add_handler, 並註冊為寫事件, 以便發送HTTP請求.

HTTPStream._handle_events用於處理事件, 當事件為寫時就發送HTTP請求(根據urllib2.Request產生的用於發送的資料), 並判斷是否有讀取函數, 有則註冊讀事件, 當事件為讀時就從socket中構建一個Response並傳遞給讀取函數, 讀取函數會返回3個值, 分別為: 下一個請求, 請求的讀取函數(可為None, 為None則只請求不讀取), 下一個請求的延遲(多長事件後添加此請求, 可選, 單位為秒)

依據讀取函數返回的三個值來確定下一個請求, 並完成一系列的請求. 更加完整的代碼請參見文章開頭給出的項目代碼

HTTPStream.http_sock.make_response執行時會將socket設為阻塞, 因為不設定阻塞會出現httplib.BadStatusLine異常.讀取函數執行完畢,重新將socket設定為非阻塞, 並移除此socket(雖然做了這樣的處理但是QQ連線時間稍長還是會觸發httplib.BadStatusLine異常)

