使用Python來編寫HTTP伺服器的超級指南

首先，到底什麼是網路伺服器？

簡而言之，它是在物理伺服器上搭建的一個網路連接伺服器（networking server），永久地等待用戶端發送請求。當伺服器收到請求之後，它會產生響應並將 其返回至用戶端。用戶端與伺服器之間的通訊，是以HTTP協議進行的。用戶端可以是瀏覽器，也可以是任何支援HTTP協議的軟體。

那麼，網路伺服器的簡單實現形式會是怎樣的呢？下面是我對此的理解。範例程式碼使用Python語言實現，不過即使你不懂Python語言，你應該也可以從代碼和下面的 解釋中理解相關的概念：

import socketHOST, PORT = '', 8888listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)listen_socket.bind((HOST, PORT))listen_socket.listen(1)print 'Serving HTTP on port %s ...' % PORTwhile True:  client_connection, client_address = listen_socket.accept()  request = client_connection.recv(1024)  print request  http_response = """\  HTTP/1.1 200 OK  Hello, World!  """  client_connection.sendall(http_response)  client_connection.close()

將上面的代碼儲存為webserver1.py，或者直接從我的[Github倉庫](https://github.com/rspivak/lsbaws/b lob/master/part1/webserver1.py)下載，然後通過命令列運行該檔案：

$ python webserver1.pyServing HTTP on port 8888 …

接下來，在瀏覽器的地址欄輸入這個連結http://localhost:8888/hello, 然後按下斷行符號鍵，你就會看見神奇的一幕。在瀏覽器中，應該會出現“ Hello, World!”這句話：

是不是很神奇？接下來，我們來分析背後的實現原理。

首先，我們來看你所輸入的網路地址。它的名字叫URL（Uniform Resource Locator，統一資源定位器），其基本結構如下：

通過URL，你告訴了瀏覽器它所需要發現並串連的網路伺服器地址，以及擷取伺服器上的頁面路徑。不過在瀏覽器發送HTTP請求之前，它首先要與目標網路伺服器建立TC P串連。然後，瀏覽器再通過TCP串連發送HTTP請求至伺服器，並等待伺服器返回HTTP響應。當瀏覽器收到響應的時候，就會在頁面上顯示響應的內容，而在上面的例
子中,瀏覽器顯示的就是“Hello, World!”這句話。

那麼，在用戶端發送請求、伺服器返迴響應之前，二者究竟是如何建立起TCP串連的呢？要建立起TCP串連，伺服器和用戶端都使用了所謂的通訊端（socket）。接下 來，我們不直接使用瀏覽器，而是在命令列使用telnet手動類比瀏覽器。

在運行網路伺服器的同一台電腦商，通過命令列開啟一次telnet會話，將需要串連的主機設定為localhost，主機的串連連接埠設定為8888，然後 按斷行符號鍵：

$ telnet localhost 8888Trying 127.0.0.1 …Connected to localhost.

完成這些操作之後，你其實已經與本地啟動並執行網路伺服器建立了TCP串連，隨時可以發送和接收HTTP資訊。在下面這張圖片裡，展示的是伺服器接受新TCP串連所需要完 成的標準流程。

在上面那個telnet會話中，我們輸入GET /hello HTTP/1.1，然後按下斷行符號：

$ telnet localhost 8888Trying 127.0.0.1 …Connected to localhost.GET /hello HTTP/1.1HTTP/1.1 200 OKHello, World!

你成功地手動類比了瀏覽器！你手動發送了一條HTTP請求，然後收到了HTTP響應。下面這幅圖展示的是HTTP請求的基本結構：

HTTP請求行包括了HTTP方法（這裡使用的是GET方法，因為我們希望從伺服器擷取內容），伺服器頁面路徑（/hello）以及HTTP協議的版本。

為了盡量簡化，我們目前實現的網路伺服器並不會解析上面的請求，你完全可以輸入一些沒有任何意義的代碼，也一樣可以收到"Hello, World!"響應。

在你輸入請求代碼並按下斷行符號鍵之後，用戶端就將該請求發送至伺服器了，伺服器則會解析你發送的請求，並返回相應的HTTP響應。

下面這張圖顯示的是伺服器返回至用戶端的HTTP響應詳情：

我們來分析一下。響應中包含了狀態行HTTP/1.1 200 OK，之後是必須的空行，然後是HTTP響應的本文。

響應的狀態行HTTP/1.1 200 OK中，包含了HTTP版本、HTTP狀態代碼以及與狀態代碼相對應的原因短語（Reason Phrase）。瀏覽器收到響應之後，會顯示響應的本文，這就是為什麼你會在瀏覽器中看到“Hello, World!”這句話。

這就是網路伺服器基本的工作原理了。簡單回顧一下：網路伺服器首先建立一個偵聽通訊端（listening socket），並開啟一個永續迴圈接收新串連；用戶端啟 動一個與伺服器的TCP串連，成功建立串連之後，向伺服器發送HTTP請求，之後伺服器返回HTTP響應。要建立TCP串連，用戶端和伺服器都使用了通訊端。

現在，你已經擁有了一個基本可用的簡易網路伺服器，你可以使用瀏覽器或其他HTTP用戶端進行測試。正如上文所展示的，通過telnet命令並手動輸入HTTP請 求，你自己也可以成為一個HTTP用戶端。

下面大家思考一下：如何在不對伺服器代碼作任何修改的情況下，通過該伺服器運行Djando應用、Flask應用和Pyramid應用，同時滿足這些不同網路 架構的要求？
以前，你選擇的Python網路架構將會限制所能夠使用的網路伺服器，反之亦然。如果架構和伺服器在設計時就是可以相互匹配的，那你就不會面臨這個問題：

但是如果你試圖將設計不相匹配的伺服器與架構相結合，那麼你肯定就會碰到下面這張圖所展示的這個問題：

這就意味著，你基本上只能使用能夠正常啟動並執行伺服器與架構組合，而不能選擇你希望使用的伺服器或架構。

那麼，你怎樣確保可以在不修改網路伺服器代碼或網路架構代碼的前提下，使用自己選擇的伺服器，並且匹配多個不同的網路架構呢？為瞭解決這個問題，就出現了Python Web伺服器網關介面（Python Web Server Gateway Interface，簡稱“WSGI”）。

WSGI的出現，讓開發人員可以將網路架構與網路伺服器的選擇分隔開來，不再相互限制。現在，你可以真正地將不同的網路伺服器與網路開發架構進行混合搭配，選擇滿足自己需求的組合。例如，你可以使用Gunicorn或Nginx/uWSGI或Waitress伺服器來運行Django、Flask或Pyramid應用。正是由於伺服器和架構均支援WSGI，才真正得以實現二者之間的自由混合搭配。

所以，WSGI就是我在上一篇文章中所留問題的答案。你的網路伺服器必須實現一個伺服器端的WSGI介面，而目前所有現代Python網路架構都已經實現了架構端的WSGI介面，這樣開發人員不需要修改伺服器的代碼，就可以支援某個網路架構。

網路伺服器和網路架構支援WSGI協議，不僅讓應用開發人員選擇符合自己需求的組合，同時也有利於伺服器和架構的開發人員，因為他們可以將注意力集中在自己擅長的領域，而不是相互傾軋。其他程式設計語言也擁有類似的介面：例如Java的Servlet API和Ruby的Rack。

口說無憑，我猜你肯定在想：“無代碼無真相！”既然如此，我就在這裡給出一個非常簡單的WSGI伺服器實現：

# Tested with Python 2.7.9, Linux & Mac OS Ximport socketimport StringIOimport sysclass WSGIServer(object):  address_family = socket.AF_INET  socket_type = socket.SOCK_STREAM  request_queue_size = 1  def __init__(self, server_address):    # Create a listening socket    self.listen_socket = listen_socket = socket.socket(      self.address_family,      self.socket_type    )    # Allow to reuse the same address    listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)    # Bind    listen_socket.bind(server_address)    # Activate    listen_socket.listen(self.request_queue_size)    # Get server host name and port    host, port = self.listen_socket.getsockname()[:2]    self.server_name = socket.getfqdn(host)    self.server_port = port    # Return headers set by Web framework/Web application    self.headers_set = []  def set_app(self, application):    self.application = application  def serve_forever(self):    listen_socket = self.listen_socket    while True:      # New client connection      self.client_connection, client_address = listen_socket.accept()      # Handle one request and close the client connection. Then      # loop over to wait for another client connection      self.handle_one_request()  def handle_one_request(self):    self.request_data = request_data = self.client_connection.recv(1024)    # Print formatted request data a la 'curl -v'    print(''.join(      '< {line}\n'.format(line=line)      for line in request_data.splitlines()    ))    self.parse_request(request_data)    # Construct environment dictionary using request data    env = self.get_environ()    # It's time to call our application callable and get    # back a result that will become HTTP response body    result = self.application(env, self.start_response)    # Construct a response and send it back to the client    self.finish_response(result)  def parse_request(self, text):    request_line = text.splitlines()[0]    request_line = request_line.rstrip('\r\n')    # Break down the request line into components    (self.request_method, # GET     self.path,      # /hello     self.request_version # HTTP/1.1     ) = request_line.split()  def get_environ(self):    env = {}    # The following code snippet does not follow PEP8 conventions    # but it's formatted the way it is for demonstration purposes    # to emphasize the required variables and their values    #    # Required WSGI variables    env['wsgi.version']   = (1, 0)    env['wsgi.url_scheme']  = 'http'    env['wsgi.input']    = StringIO.StringIO(self.request_data)    env['wsgi.errors']    = sys.stderr    env['wsgi.multithread'] = False    env['wsgi.multiprocess'] = False    env['wsgi.run_once']   = False    # Required CGI variables    env['REQUEST_METHOD']  = self.request_method  # GET    env['PATH_INFO']     = self.path       # /hello    env['SERVER_NAME']    = self.server_name    # localhost    env['SERVER_PORT']    = str(self.server_port) # 8888    return env  def start_response(self, status, response_headers, exc_info=None):    # Add necessary server headers    server_headers = [      ('Date', 'Tue, 31 Mar 2015 12:54:48 GMT'),      ('Server', 'WSGIServer 0.2'),    ]    self.headers_set = [status, response_headers + server_headers]    # To adhere to WSGI specification the start_response must return    # a 'write' callable. We simplicity's sake we'll ignore that detail    # for now.    # return self.finish_response  def finish_response(self, result):    try:      status, response_headers = self.headers_set      response = 'HTTP/1.1 {status}\r\n'.format(status=status)      for header in response_headers:        response += '{0}: {1}\r\n'.format(*header)      response += '\r\n'      for data in result:        response += data      # Print formatted response data a la 'curl -v'      print(''.join(        '> {line}\n'.format(line=line)        for line in response.splitlines()      ))      self.client_connection.sendall(response)    finally:      self.client_connection.close()SERVER_ADDRESS = (HOST, PORT) = '', 8888def make_server(server_address, application):  server = WSGIServer(server_address)  server.set_app(application)  return serverif __name__ == '__main__':  if len(sys.argv) < 2:    sys.exit('Provide a WSGI application object as module:callable')  app_path = sys.argv[1]  module, application = app_path.split(':')  module = __import__(module)  application = getattr(module, application)  httpd = make_server(SERVER_ADDRESS, application)  print('WSGIServer: Serving HTTP on port {port} ...\n'.format(port=PORT))  httpd.serve_forever()

上面的代碼比第一部分的伺服器實現代碼要長的多，但是這些代碼實際也不算太長，只有不到150行，大家理解起來並不會太困難。上面這個伺服器的功能也更多——它可以運行你使用自己喜歡的架構所寫出來的網路應用，無論你選擇Pyramid、Flask、Django或是其他支援WSGI協議的架構。

你不信？你可以自己測試一下，看看結果如何。將上述代碼儲存為webserver2.py，或者直接從我的Github倉庫下載。如果你運行該檔案時沒有提供任何參數，那麼程式就會報錯並退出。

$ python webserver2.pyProvide a WSGI application object as module:callable

上述程式設計的目的，就是運行你開發的網路應用，但是你還需要滿足一些它的要求。要運行伺服器，你只需要安裝Python即可。但是要運行使用Pyramid、Flask和Django等架構開發的網路應用，你還需要先安裝這些架構。我們接下來安裝這三種架構。我傾向於使用virtualenv安裝。請按照下面的提示建立並啟用一個虛擬環境，然後安裝這三個網路架構。

$ [sudo] pip install virtualenv$ mkdir ~/envs$ virtualenv ~/envs/lsbaws/$ cd ~/envs/lsbaws/$ lsbin include lib$ source bin/activate(lsbaws) $ pip install pyramid(lsbaws) $ pip install flask(lsbaws) $ pip install django

接下來，你需要建立一個網路應用。我們首先建立Pyramid應用。將下面的代碼儲存為pyramidapp.py檔案，放至webserver2.py所在的檔案夾中，或者直接從我的Github倉庫下載該檔案：

from pyramid.config import Configuratorfrom pyramid.response import Responsedef hello_world(request):  return Response(    'Hello world from Pyramid!\n',    content_type='text/plain',  )config = Configurator()config.add_route('hello', '/hello')config.add_view(hello_world, route_name='hello')app = config.make_wsgi_app()

現在，你可以通過自己開發的網路伺服器來啟動上面的Pyramid應用。

(lsbaws) $ python webserver2.py pyramidapp:appWSGIServer: Serving HTTP on port 8888 ...

在運行webserver2.py時，你告訴自己的伺服器去載入pyramidapp模組中的app可調用對象（callable）。你的伺服器現在可以接收HTTP請求，並將請求中轉至你的Pyramid應用。應用目前只能處理一個路由（route）：/hello。在瀏覽器的地址欄輸入http://localhost:8888/hello，按下斷行符號鍵，觀察會出現什麼情況：

你還可以在命令列使用curl命令，來測試伺服器運行情況：

$ curl -v http://localhost:8888/hello...

接下來我們建立Flask應用。重複上面的步驟。

from flask import Flaskfrom flask import Responseflask_app = Flask('flaskapp')@flask_app.route('/hello')def hello_world():  return Response(    'Hello world from Flask!\n',    mimetype='text/plain'  )app = flask_app.wsgi_app

將上面的代碼儲存為flaskapp.py，或者直接從我的Github倉庫下載檔案，並運行：

(lsbaws) $ python webserver2.py flaskapp:appWSGIServer: Serving HTTP on port 8888 ...

然後在瀏覽器地址欄輸入http://localhost:8888/hello，並按下斷行符號：

同樣，在命令列使用curl命令，看看伺服器是否會返回Flask應用產生的資訊：

$ curl -v http://localhost:8888/hello...

這個伺服器是不是也能支援Django應用？試一試就知道了！不過接下來的操作更為複雜一些，我建議大家複製整個倉庫，並使用其中的djangoapp.py檔案。下面的代碼將一個名叫helloworld的Django應用添加至當前的Python路徑中，然後匯入了該項目的WSGI應用。

import syssys.path.insert(0, './helloworld')from helloworld import wsgiapp = wsgi.application

將上面的代碼儲存為djangoapp.py，並使用你開發的伺服器運行這個Django應用。

(lsbaws) $ python webserver2.py djangoapp:appWSGIServer: Serving HTTP on port 8888 ...

同樣，在瀏覽器中輸入http://localhost:8888/hello，並按下斷行符號鍵：

接下來，和前面幾次一樣，你通過命令列使用curl命令進行測試，確認了這個Djando應用成功處理了你發出的請求：

$ curl -v http://localhost:8888/hello...

你有沒有按照上面的步驟測試？你做到了讓伺服器支援全部三種架構嗎？如果沒有，請盡量自己動手操作。閱讀代碼很重要，但這系列文章的目的在於重新開發，而這意味著你需要自己親自動手。最好是你自己重新輸入所有的代碼，並確保代碼運行結果符合預期。

經過上面的介紹，你應該已經認識到了WSGI的強大之處：它可以讓你自由混合搭配網路伺服器和架構。WSGI為Python網路伺服器與Python網路架構之間的互動提供了一個極簡的介面，而且非常容易在伺服器端和架構端實現。下面的程式碼片段分別展示了伺服器端和架構端的WSGI介面：

def run_application(application):  """Server code."""  # This is where an application/framework stores  # an HTTP status and HTTP response headers for the server  # to transmit to the client  headers_set = []  # Environment dictionary with WSGI/CGI variables  environ = {}  def start_response(status, response_headers, exc_info=None):    headers_set[:] = [status, response_headers]  # Server invokes the ‘application' callable and gets back the  # response body  result = application(environ, start_response)  # Server builds an HTTP response and transmits it to the client  …def app(environ, start_response):  """A barebones WSGI app."""  start_response('200 OK', [('Content-Type', 'text/plain')])  return ['Hello world!']run_application(app)

下面給大家解釋一下上述代碼的工作原理：

網路架構提供一個命名為application的可調用對象（WSGI協議並沒有指定如何?這個對象）。
伺服器每次從HTTP用戶端接收請求之後，調用application。它會向可調用對象傳遞一個名叫environ的字典作為參數，其中包含了WSGI/CGI的諸多變數，以及一個名為start_response的可調用對象。
架構/應用產生HTTP狀態代碼以及HTTP響應前序（HTTP response headers），然後將二者傳遞至start_response，等待伺服器儲存。此外，架構/應用還將返迴響應的本文。
伺服器將狀態代碼、響應前序和響應本文組合成HTTP響應，並返回給用戶端（這一步並不屬於WSGI協議）。
下面這張圖直觀地說明了WSGI介面的情況：

有一點要提醒大家，當你使用上述架構開發網路應用的時候，你處理的是更高層級的邏輯，並不會直接處理WSGI協議相關的要求，但是我很清楚，既然你正在看這篇文章，你一定對架構端的WSGI介面高度興趣。所以，我們接下來在不使用Pyramid、Flask或Djando架構的前提下，自己開發一個極簡的WSGI網路應用/網路架構，並使用WSGI伺服器運行該應用：

def app(environ, start_response):  """A barebones WSGI application.  This is a starting point for your own Web framework :)  """  status = '200 OK'  response_headers = [('Content-Type', 'text/plain')]  start_response(status, response_headers)  return ['Hello world from a simple WSGI application!\n']

將上述代碼儲存為wsgiapp.py檔案，或者直接從我的Github倉庫下載，然後利用網路伺服器運行該應用：

(lsbaws) $ python webserver2.py wsgiapp:appWSGIServer: Serving HTTP on port 8888 ...

在瀏覽器中輸入中的地址，然後按斷行符號鍵。結果應該是這樣的：

你剛剛自己編寫了一個極簡的WSGI網路架構！太不可思議了。

接下來，我們重新分析伺服器返回給用戶端的對象。下面這張圖展示的是你通過HTTP用戶端調用Pyramid應用後，伺服器產生的HTTP響應：

中的響應與你在第一篇中看到的有些類似，但是也有明顯不同之處。舉個例子，其中就出現了你之前沒有看到過的4歌HTTP前序：Content-Type，Content-Length，Date和Server。這些事網路伺服器返回的響應對象通常都會包含的前序。不過，這四個都不是必須的。前序的目的是傳遞有關HTTP請求/響應的額外資訊。

既然你已經對WSGI介面有了更深的理解，下面這張圖對響應對象的內容進行了更詳細的解釋，說明了每條內容是如何產生的。

到目前為止，我還沒有介紹過environ字典的具體內容，但簡單來說，它是一個必須包含著WSGI協議所指定的某些WSGI和CGI變數。伺服器從HTTP請求中擷取字典所需的值。下面這張圖展示的是字典的詳細內容：

網路架構通過該字典提供的資訊，根據指定的路由和要求方法等參數來決定使用哪個視圖（views），從哪裡讀取請求本文，以及如何輸出錯誤資訊。

截至目前，你已經成功建立了自己的支援WSGI協議的網路伺服器，還利用不同的網路架構開發了多個網路應用。另外，你還自己開發了一個極簡的網路架構。本文介紹的內容不可謂不豐富。我們接下來回顧一下WSGI網路伺服器如何處理HTTP請求：

• 首先，伺服器啟動並載入網路架構/應用提供的application可調用對象
• 然後，伺服器讀取一個請求資訊
• 然後，伺服器對請求進行解析
• 然後，伺服器使用請求資料建立一個名叫environ的字典
• 然後，伺服器以environ字典和start_response可調用對象作為參數，調用application，並獲得應用產生的響應本文。
• 然後，伺服器根據調用application對象後返回的資料，以及start_response設定的狀態代碼和響應標題，構建一個HTTP響應。
• 最後，伺服器將HTTP響應返回至用戶端。

以上就是第二部分的所有內容。你現在已經擁有了一個正常啟動並執行WSGI伺服器，可以支援通過遵守WSGI協議的網路架構所寫的網路應用。最棒的是，這個伺服器可以不需要作任何代碼修改，就可以與多個網路架構配合使用。

