Python之路【第六篇】：socket

標籤：deb   command   eve   拒絕   mat   highlight   非同步   recv   位元組   

Socket

socket通常也稱作"通訊端"，用於描述IP地址和連接埠，是一個通訊鏈的控制代碼，應用程式通常通過"通訊端"向網路發出請求或者應答網路請求。

socket起源於Unix，而Unix/Linux基本哲學之一就是“一切皆檔案”，對於檔案用【開啟】【讀寫】【關閉】模式來操作。socket就是該模式的一個實現，socket即是一種特殊的檔案，一些socket函數就是對其進行的操作（讀/寫IO、開啟、關閉）

socket和file的區別：

• file模組是針對某個指定檔案進行【開啟】【讀寫】【關閉】
• socket模組是針對 伺服器端 和 用戶端Socket 進行【開啟】【讀寫】【關閉】

 

 socket server socket client

WEB服務應用：

123456789101112131415161718192021

#!/usr/bin/env python#coding:utf-8import socket def handle_request(client):    buf = client.recv(1024)    client.send("HTTP/1.1 200 OK\r\n\r\n")    client.send("Hello, World") def main():    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)    sock.bind((‘localhost‘,8080))    sock.listen(5)     while True:        connection, address = sock.accept()        handle_request(connection)        connection.close() if __name__ == ‘__main__‘:  main()

更多功能

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)

參數一：地址簇

　　socket.AF_INET IPv4（預設）
　　socket.AF_INET6 IPv6

　　socket.AF_UNIX 只能夠用於單一的Unix系統處理序間通訊

參數二：類型

　　socket.SOCK_STREAM　　流式socket , for TCP （預設）
　　socket.SOCK_DGRAM　　 資料報式socket , for UDP

　　socket.SOCK_RAW 原始通訊端，普通的通訊端無法處理ICMP、IGMP等網路報文，而SOCK_RAW可以；其次，SOCK_RAW也可以處理特殊的IPv4報文；此外，利用原始通訊端，可以通過IP_HDRINCL通訊端選項由使用者構造IP頭。
　　socket.SOCK_RDM 是一種可靠的UDP形式，即保證交付資料報但不保證順序。SOCK_RAM用來提供對原始協議的低級訪問，在需要執行某些特殊操作時使用，如發送ICMP報文。SOCK_RAM通常僅限於進階使用者或管理員啟動並執行程式使用。
　　socket.SOCK_SEQPACKET 可靠的連續資料包服務

參數三：協議

　　0　　（預設）與特定的地址家族相關的協議,如果是 0 ，則系統就會根據地址格式和套接類別,自動選擇一個合適的協議

 UDP Demo

sk.bind(address)

　　s.bind(address) 將通訊端綁定到地址。address地址的格式取決於地址族。在AF_INET下，以元組（host,port）的形式表示地址。

sk.listen(backlog)

　　開始監聽傳入串連。backlog指定在拒絕串連之前，可以掛起的最大串連數量。

      backlog等於5，表示核心已經接到了串連請求，但伺服器還沒有調用accept進行處理的串連個數最大為5
      這個值不能無限大，因為要在核心中維護串連隊列

sk.setblocking(bool)

　　是否阻塞（預設True），如果設定False，那麼accept和recv時一旦無資料，則報錯。

sk.accept()

　　接受串連並返回（conn,address）,其中conn是新的通訊端對象，可以用來接收和發送資料。address是串連用戶端的地址。

　　接收TCP 客戶的串連（阻塞式）等待串連的到來

sk.connect(address)

　　串連到address處的通訊端。一般，address的格式為元組（hostname,port）,如果串連出錯，返回socket.error錯誤。

sk.connect_ex(address)

　　同上，只不過會有傳回值，串連成功時返回 0 ，串連失敗時候返回編碼，例如：10061

sk.close()

　　關閉通訊端

sk.recv(bufsize[,flag])

　　接受通訊端的資料。資料以字串形式返回，bufsize指定最多可以接收的數量。flag提供有關訊息的其他資訊，通常可以忽略。

sk.recvfrom(bufsize[.flag])

　　與recv()類似，但傳回值是（data,address）。其中data是包含接收資料的字串，address是發送資料的通訊端地址。

sk.send(string[,flag])

　　將string中的資料發送到串連的通訊端。傳回值是要發送的位元組數量，該數量可能小於string的位元組大小。即：可能未將指定內容全部發送。

sk.sendall(string[,flag])

　　將string中的資料發送到串連的通訊端，但在返回之前會嘗試發送所有資料。成功返回None，失敗則拋出異常。

      內部通過遞迴調用send，將所有內容發送出去。

sk.sendto(string[,flag],address)

　　將資料發送到通訊端，address是形式為（ipaddr，port）的元組，指定遠程地址。傳回值是發送的位元組數。該函數主要用於UDP協議。

sk.settimeout(timeout)

　　設定通訊端操作的逾時期，timeout是一個浮點數，單位是秒。值為None表示沒有逾時期。一般，逾時期應該在剛建立通訊端時設定，因為它們可能用於串連的操作（如 client 串連最多等待5s ）

sk.getpeername()

　　返回串連通訊端的遠程地址。傳回值通常是元組（ipaddr,port）。

sk.getsockname()

　　返回通訊端自己的地址。通常是一個元組(ipaddr,port)

sk.fileno()

　　通訊端的檔案描述符

 UDP

執行個體：智能機器人

 服務端 用戶端IO多工

I/O多工指：通過一種機制，可以監視多個描述符，一旦某個描述符就緒（一般是讀就緒或者寫就緒），能夠通知程式進行相應的讀寫操作。

Linux

Linux中的 select，poll，epoll 都是IO多工機制。

+ View Code

Python

Python中有一個select模組，其中提供了：select、poll、epoll三個方法，分別調用系統的 select，poll，epoll 從而實現IO多工。

123456

Windows Python：    提供： selectMac Python：    提供： selectLinux Python：    提供： select、poll、epoll

注意：網路操作、檔案操作、終端操作等均屬於IO操作，對於windows只支援Socket操作，其他系統支援其他IO操作，但是無法檢測 普通檔案操作 自動上次讀取是否已經變化。

對於select方法：

1234567891011

控制代碼列表11, 控制代碼列表22, 控制代碼列表33 = select.select(控制代碼序列1, 控制代碼序列2, 控制代碼序列3, 逾時時間) 參數： 可接受四個參數（前三個必須）傳回值：三個列表 select方法用來監視檔案控制代碼，如果控制代碼發生變化，則擷取該控制代碼。1、當 參數1 序列中的控制代碼發生可讀時（accetp和read），則擷取發生變化的控制代碼並添加到 傳回值1 序列中2、當 參數2 序列中含有控制代碼時，則將該序列中所有的控制代碼添加到 傳回值2 序列中3、當 參數3 序列中的控制代碼發生錯誤時，則將該發生錯誤的控制代碼添加到 傳回值3 序列中4、當 逾時時間 未設定，則select會一直阻塞，直到監聽的控制代碼發生變化   當 逾時時間 ＝ 1時，那麼如果監聽的控制代碼均無任何變化，則select會阻塞 1 秒，之後返回三個空列表，如果監聽的控制代碼有變化，則直接執行。

 利用select監聽終端操作執行個體 利用select實現偽同時處理多個Socket用戶端請求：服務端 利用select實現偽同時處理多個Socket用戶端請求：用戶端

此處的Socket服務端相比與原生的Socket，他支援當某一個請求不再發送資料時，伺服器端不會等待而是可以去處理其他請求的資料。但是，如果每個請求的耗時比較長時，select版本的伺服器端也無法完成同時操作。

 基於select實現socket服務端SocketServer模組

SocketServer內部使用 IO多工 以及 “多線程” 和 “多進程” ，從而實現並發處理多個用戶端請求的Socket服務端。即：每個用戶端請求串連到伺服器時，Socket服務端都會在伺服器是建立一個“線程”或者“進程” 專門負責處理當前用戶端的所有請求。

ThreadingTCPServer

ThreadingTCPServer實現的Soket伺服器內部會為每個client建立一個 “線程”，該線程用來和用戶端進行互動。

1、ThreadingTCPServer基礎

使用ThreadingTCPServer:

• 建立一個繼承自 SocketServer.BaseRequestHandler 的類
• 類中必須定義一個名稱為 handle 的方法
• 啟動ThreadingTCPServer

 SocketServer實現伺服器 用戶端

2、ThreadingTCPServer源碼剖析

ThreadingTCPServer的類圖關係如下：

 

內部調用流程為：

• 啟動服務端程式
• 執行 TCPServer.__init__ 方法，建立服務端Socket對象並綁定 IP 和 連接埠
• 執行 BaseServer.__init__ 方法，將自訂的繼承自SocketServer.BaseRequestHandler 的類 MyRequestHandle賦值給 self.RequestHandlerClass
• 執行 BaseServer.server_forever 方法，While 迴圈一直監聽是否有用戶端請求到達 ...
• 當用戶端串連到達伺服器
• 執行 ThreadingMixIn.process_request 方法，建立一個 “線程” 用來處理請求
• 執行 ThreadingMixIn.process_request_thread 方法
• 執行 BaseServer.finish_request 方法，執行 self.RequestHandlerClass()  即：執行 自訂 MyRequestHandler 的構造方法（自動調用基類BaseRequestHandler的構造方法，在該構造方法中又會調用 MyRequestHandler的handle方法）

ThreadingTCPServer相關源碼：

 BaseServer TCPServer ThreadingMixIn ThreadingTCPServer

RequestHandler相關源碼

 SocketServer.BaseRequestHandler

執行個體：

 服務端 用戶端

源碼精簡：

import socketimport threadingimport selectdef process(request, client_address):    print request,client_address    conn = request    conn.sendall(‘歡迎致電 10086，請輸入1xxx,0轉人工服務.‘)    flag = True    while flag:        data = conn.recv(1024)        if data == ‘exit‘:            flag = False        elif data == ‘0‘:            conn.sendall(‘通過可能會被錄音.balabala一大推‘)        else:            conn.sendall(‘請重新輸入.‘)sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)sk.bind((‘127.0.0.1‘,8002))sk.listen(5)while True:    r, w, e = select.select([sk,],[],[],1)    print ‘looping‘    if sk in r:        print ‘get request‘        request, client_address = sk.accept()        t = threading.Thread(target=process, args=(request, client_address))        t.daemon = False        t.start()sk.close()

如精簡代碼可以看出，SocketServer的ThreadingTCPServer之所以可以同時處理請求得益於 select 和 Threading 兩個東西，其實本質上就是在伺服器端為每一個用戶端建立一個線程，當前線程用來處理對應用戶端的請求，所以，可以支援同時n個用戶端連結（長串連）。

ForkingTCPServer

ForkingTCPServer和ThreadingTCPServer的使用和執行流程基本一致，只不過在內部分別為要求者建立 “線程”  和 “進程”。

基本使用：

 服務端 用戶端

以上ForkingTCPServer只是將 ThreadingTCPServer 執行個體中的代碼：

123	server = SocketServer.ThreadingTCPServer((‘127.0.0.1‘,8009),MyRequestHandler)變更為：server = SocketServer.ForkingTCPServer((‘127.0.0.1‘,8009),MyRequestHandler)

SocketServer的ThreadingTCPServer之所以可以同時處理請求得益於 select 和 os.fork 兩個東西，其實本質上就是在伺服器端為每一個用戶端建立一個進程，當前新建立的進程用來處理對應用戶端的請求，所以，可以支援同時n個用戶端連結（長串連）。

源碼剖析參考 ThreadingTCPServer

Twisted

Twisted是一個事件驅動的網路架構，其中包含了諸多功能，例如：網路通訊協定、線程、資料庫管理、網路操作、電子郵件等。

事件驅動

簡而言之，事件驅動分為二個部分：第一，註冊事件；第二，觸發事件。

自訂事件驅動架構，命名為：“弑君者”：

 最牛逼的事件驅動架構

程式員使用“弑君者架構”：

 View Code

如上述代碼，事件驅動只不過是架構規定了執行順序，程式員在使用架構時，可以向原執行順序中註冊“事件”，從而在架構執行時可以出發登入的“事件”。

基於事件驅動Socket

12345678910111213141516171819

#!/usr/bin/env python# -*- coding:utf-8 -*- from twisted.internet import protocolfrom twisted.internet import reactor class Echo(protocol.Protocol):    def dataReceived(self, data):        self.transport.write(data) def main():    factory = protocol.ServerFactory()    factory.protocol = Echo     reactor.listenTCP(8000,factory)    reactor.run() if __name__ == ‘__main__‘:    main()

程式執行流程：

• 運行服務端程式
• 建立Protocol的衍生類別Echo
• 建立ServerFactory對象，並將Echo類封裝到其protocol欄位中
• 執行reactor的 listenTCP 方法，內部使用 tcp.Port 建立socket server對象，並將該對象添加到了 reactor的set類型的欄位 _read 中
• 執行reactor的 run 方法，內部執行 while 迴圈，並通過 select 來監視 _read 中檔案描述符是否有變化，迴圈中...
• 用戶端請求到達
• 執行reactor的 _doReadOrWrite 方法，其內部通過反射調用 tcp.Port 類的 doRead 方法，內部 accept 用戶端串連並建立Server對象執行個體（用於封裝用戶端socket資訊）和 建立 Echo 對象執行個體（用於處理請求） ，然後調用 Echo 對象執行個體的 makeConnection 方法，建立串連。
• 執行 tcp.Server 類的 doRead 方法，讀取資料，
• 執行 tcp.Server 類的 _dataReceived 方法，如果讀取資料內容為空白（關閉連結），否則，出發 Echo 的 dataReceived 方法
• 執行 Echo 的 dataReceived 方法

從源碼可以看出，上述執行個體本質上使用了事件驅動的方法 和 IO多工機制來進行Socket的處理。

 非同步IO操作

更多請見：

　　https://twistedmatrix.com/trac
　　http://twistedmatrix.com/documents/current/api/

Python之路【第六篇】：socket