1、網路中進程之間如何通訊。
本地的處理序間通訊(IPC)有很多種方式,但可以總結為下面4類: 訊息傳遞(管道、FIFO、訊息佇列) 同步(互斥量、條件變數、讀寫鎖、檔案和寫記錄鎖、訊號量) 共用記憶體(匿名的和具名的) 遠端程序呼叫(Solaris門和Sun RPC)
但這些都不是本文的主題。我們要討論的是網路中進程之間如何通訊。首要解決的問題是如何唯一標識一個進程,否則通訊無從談起。在本地可以通過進程PID來唯一標識一個進程,但是在網路中這是行不通的。其實TCP/IP協議族已經幫我們解決了這個問題,網路層的“ip地址”可以唯一標識網路中的主機,而傳輸層的“協議+連接埠”可以唯一標識主機中的應用程式(進程)。這樣利用三元組(ip地址,協議,連接埠)就可以標識網路的進程了,網路中的進程通訊就可以利用這個標誌與其它進程進行互動。
使用TCP/IP協議的應用程式通常採用應用編程介面:UNIX BSD的通訊端(socket)和UNIX System V的TLI(已經被淘汰),來實現網路進程之間的通訊。就目前而言,幾乎所有的應用程式都是採用socket,而現在又是網路時代,網路中進程通訊是無處不在,這就是我為什麼說“一切皆socket”。 2、什麼是Socket。
上面我們已經知道網路中的進程是通過socket來通訊的,那什麼是socket呢。socket起源於Unix,而Unix/Linux基本哲學之一就是“一切皆檔案”,都可以用“開啟open –> 讀寫write/read –> 關閉close”模式來操作。我的理解就是Socket就是該模式的一個實現,socket即是一種特殊的檔案,一些socket函數就是對其進行的操作(讀/寫IO、開啟、關閉),這些函數我們在後面進行介紹。 socket一詞的起源
在組網領域的首次使用是在1970年2月12日發布的文獻IETF RFC33中發現的,撰寫者為Stephen Carr、Steve Crocker和Vint Cerf。根據美國電腦曆史博物館的記載,Croker寫道:“命名空間的元素都可稱為通訊端介面。一個通訊端介面構成一個串連的一端,而一個串連可完全由一對通訊端介面規定。”電腦曆史博物館補充道:“這比BSD的通訊端介面定義早了大約12年。” 3、socket的基本操作
既然socket是“open—write/read—close”模式的一種實現,那麼socket就提供了這些操作對應的函數介面。下面以TCP為例,介紹幾個基本的socket介面函數。 3.1、socket()函數
int socket(int domain, int type, int protocol);
socket函數對應於普通檔案的開啟操作。普通檔案的開啟操作返回一個檔案描述字,而socket()用於建立一個socket描述符(socket descriptor),它唯一標識一個socket。這個socket描述字跟檔案描述字一樣,後續的操作都有用到它,把它作為參數,通過它來進行一些讀寫操作。
正如可以給fopen的傳入不同參數值,以開啟不同的檔案。建立socket的時候,也可以指定不同的參數建立不同的socket描述符,socket函數的三個參數分別為: domain:即協議域,又稱為協議族(family)。常用的協議族有,AF_INET、AF_INET6、AF_LOCAL(或稱AF_UNIX,Unix域socket)、AF_ROUTE等等。協議族決定了socket的地址類型,在通訊中必須採用對應的地址,如AF_INET決定了要用ipv4地址(32位的)與連接埠號碼(16位的)的組合、AF_UNIX決定了要用一個絕對路徑名作為地址。 type:指定socket類型。常用的socket類型有,SOCK_STREAM、SOCK_DGRAM、SOCK_RAW、SOCK_PACKET、SOCK_SEQPACKET等等(socket的類型有哪些。)。 protocol:故名思意,就是指定協議。常用的協議有,IPPROTO_TCP、IPPTOTO_UDP、IPPROTO_SCTP、IPPROTO_TIPC等,它們分別對應TCP傳輸協議、UDP傳輸協議、STCP傳輸協議、TIPC傳輸協議(這個協議我將會單獨開篇討論。)。
注意:並不是上面的type和protocol可以隨意組合的,如SOCK_STREAM不可以跟IPPROTO_UDP組合。當protocol為0時,會自動選擇type類型對應的預設協議。
當我們調用socket建立一個socket時,返回的socket描述字它存在於協議族(address family,AF_XXX)空間中,但沒有一個具體的地址。如果想要給它賦值一個地址,就必須調用bind()函數,否則就當調用connect()、listen()時系統會自動隨機分配一個連接埠。 3.2、bind()函數
正如上面所說bind()函數把一個地址族中的特定地址賦給socket。例如對應AF_INET、AF_INET6就是把一個ipv4或ipv6地址和連接埠號碼組合賦給socket。
int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
函數的三個參數分別為: sockfd:即socket描述字,它是通過socket()函數建立了,唯一標識一個socket。bind()函數就是將給這個描述字綁定一個名字。 addr:一個const struct sockaddr *指標,指向要綁定給sockfd的協議地址。這個地址結構根據地址建立socket時的地址協議族的不同而不同,如ipv4對應的是:
struct sockaddr_in { sa_family_t sin_family; /* address family: AF_INET */ in_port_t sin_port; /* port in network byte order */ struct in_addr sin_addr; /* internet address */};/* Internet address. */struct in_addr { uint32_t s_addr; /* address in network byte order */}; ipv6對應的是:
struct sockaddr_in6 { sa_family_t sin6_family; /* AF_INET6 */ in_port_t sin6_port; /* port number */ uint32_t sin6_flowinfo; /* IPv6 flow information */ struct in6_addr sin6_addr; /* IPv6 address */ uint32_t sin6_scope_id; /* Scope ID (new in 2.4) */ };struct in6_addr { unsigned char s6_addr[16]; /* IPv6 address */ }; Unix域對應的是:
#define UNIX_PATH_MAX 108struct sockaddr_un { sa_family_t sun_family; /* AF_UNIX */ char sun_path[UNIX_PATH_MAX]; /* pathname */ }; addrlen:對應的是地址的長度。
通常伺服器在啟動的時候都會綁定一個眾所周知的地址(如ip地址+連接埠號碼),用於提供服務,客戶就可以通過它來接連伺服器;而用戶端就不用指定,有系統自動分配一個連接埠號碼和自身的ip地址組合。這就是為什麼通常伺服器端在listen之前會調用bind(),而用戶端就不會調用,而是在connect()時由系統隨機產生一個。 網路位元組序與主機位元組序
主機位元組序就是我們平常說的大端和小端模式:不同的CPU有不同的位元組序類型,這些位元組序是指整數在記憶體中儲存的順序,這個叫做主機序。引用標準的Big-Endian和Little-Endian的定義如下:
a) Little-Endian就是低位位元組排放在記憶體的低地址端,高位位元組排放在記憶體的高地址端。
b) Big-Endian就是高位位元組排放在記憶體的低地址端,低位位元組排放在記憶體的高地址端。
網路位元組序:4個位元組的32 bit值以下面的次序傳輸:首先是0~7bit,其次8~15bit,然後16~23bit,最後是24~31bit。這種傳輸次序稱作大端位元組序。由於TCP/IP首部中所有的二進位整數在網路中傳輸時都要求以這種次序,因此它又稱作網路位元組序。位元組序,顧名思義位元組的順序,就是大於一個位元組類型的資料在記憶體中的存放順序,一個位元組的資料沒有順序的問題了。
所以:在將一個地址綁定到socket的時候,請先將主機位元組序轉換成為網路位元組序,而不要假定主機位元組序跟網路位元組序一樣使用的是Big-Endian。由於這個問題曾引發過血案。公司項目代碼中由於存在這個問題,導致了很多莫名其妙的問題,所以請謹記對主機位元組序不要做任何假定,務必將其轉化為網路位元組序再賦給socket。 3.3、listen()、connect()函數
如果作為一個伺服器,在調用socket()、bind()之後就會調用listen()來監聽這個socket,如果用戶端這時調用connect()發出串連請求,伺服器端就會接收到這個請求。
int listen(int sockfd, int backlog);int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
listen函數的第一個參數即為要監聽的socket描述字,第二個參數為相應socket可以排隊的最大串連個數。socket()函數建立的socket預設是一個主動類型的,listen函數將socket變為被動類型的,等待客戶的串連請求。
connect函數的第一個參數即為用戶端的socket描述字,第二參數為伺服器的socket地址,第三個參數為socket地址的長度。用戶端通過調用connect函數來建立與TCP伺服器的串連。 3.4、accept()函數
TCP伺服器端依次調用socket()、bind()、listen()之後,就會監聽指定的socket地址了。TCP用戶端依次調用socket()、connect()之後就想TCP伺服器發送了一個串連請求。TCP伺服器監聽到這個請求之後,就會調用accept()函數取接收請求,這樣串連就建立好了。之後就可以開始網路I/O操作了,即類同於普通檔案的讀寫I/O操作。
int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);
accept函數的第一個參數為伺服器的socket描述字,第二個參數為指向struct sockaddr *的指標,用於返回用戶端的協議地址,第三個參數為協議地址的長度。如果accpet成功,那麼其傳回值是由核心自動產生的一個全新的描述字,代表與返回客戶的TCP串連。
注意:accept的第一個參數為伺服器的socket描述字,是伺服器開始調用socket()函數產生的,稱為監聽socket描述字;而accept函數返回的是已串連的socket描述字。一個伺服器通常通常僅僅只建立一個監聽socket描述字,它在該伺服器的生命週期內一直存在。核心為每個由伺服器處理序接受的客戶串連建立了一個已串連socket描述字,當伺服器完成了對某個客戶的服務,相應的已串連socket描述字就被關閉。 3.5、read()、write()等函數
萬事具備只欠東風,至此伺服器與客戶已經建立好串連了。可以調用網路I/O進行讀寫操作了,即實現了網咯中不同進程之間的通訊。網路I/O操作有下面幾組: read()/write() recv()/send() readv()/writev() recvmsg()/sendmsg() recvfrom()/sendto()
我推薦使用recvmsg()/sendmsg()函數,這兩個函數是最通用的I/O函數,實際上可以把上面的其它函數都替換成這兩個函數。它們的聲明如下:
#include <unistd.h> ssize_t read(int fd, void *buf, size_t count); ssize_t write(int fd, const void *buf, size_t count); #include <sys/types.h> #include <sys/socket.h> ssize_t send(int sockfd, const void *buf, size_t len, int flags); ssize_t recv(int sockfd, void *buf, size_t len, int flags); ssize_t sendto(int sockfd, const void *buf, size_t len, int flags, const struct sockaddr *dest_addr, socklen_t addrlen); ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags, struct sockaddr *src_addr, socklen_t *addrlen); ssize_t sendmsg(int sockfd, const struct msghdr *msg, int flags); ssize_t recvmsg(int sockfd, struct msghdr *msg, int flags);
read函數是負責從fd中讀取內容.當讀成功時,read返回實際所讀的位元組數,如果返回的值是0表示已經讀到檔案的結束了,小於0表示出現了錯誤。如果錯誤為EINTR說明讀是由中斷引起的,如果是ECONNREST表示網路連接出了問題。
write函數將buf中的nbytes位元組內容寫入檔案描述符fd.成功時返回寫的位元組數。失敗時返回-1,並設定errno變數。 在網路程式中,當我們向通訊端檔案描述符寫時有倆種可能。1)write的傳回值大於0,表示寫了部分或者是全部的資料。2)返回的值小於0,此時出現了錯誤。我們要根據錯誤類型來處理。如果錯誤為EINTR表示在寫的時候出現了中斷錯誤。如果為EPIPE表示網路連接出現了問題(對方已經關閉了串連)。
其它的我就不一一介紹這幾對I/O函數了,具體參見man文檔或者baidu、Google,下面的例子中將使用到send/recv。 3.6、close()函數
在伺服器與用戶端建立串連之後,會進行一些讀寫操作,完成了讀寫操作就要關閉相應的socket描述字,好比操作完開啟的檔案要調用fclose關閉開啟的檔案。
#include <unistd.h>int close(int fd);
close一個TCP socket的預設行為時把該socket標記為以關閉,然後立即返回到調用進程。該描述字不能再由調用進程使用,也就是說不能再作為read或write的第一個參數。
注意:close操作只是使相應socket描述字的引用計數-1,只有當引用計數為0的時候,才會觸發TCP用戶端向伺服器發送終止串連請求。 4、socket中TCP的三向交握建立串連詳解
我們知道tcp建立串連要進行“三向交握”,即交換三個分組。大致流程如下: 用戶端向伺服器發送一個SYN J 伺服器向用戶端響應一個SYN K,並對SYN J進行確認ACK J+1 用戶端再想伺服器發一個確認ACK K+1
只有就完了三向交握,但是這個三向交握發生在socket的那幾個函數中呢。請看下圖:
圖1、socket中發送的TCP三向交握
從圖中可以看出,當用戶端調用connect時,觸發了串連請求,向伺服器發送了SYN J包,這時connect進入阻塞狀態;伺服器監聽到串連請求,即收到SYN J包,調用accept函數接收請求向用戶端發送SYN K ,ACK J+1,這時accept進入阻塞狀態;用戶端收到伺服器的SYN K ,ACK J+1之後,這時connect返回,並對SYN K進行確認;伺服器收到ACK K+1時,accept返回,至此三向交握完畢,串連建立。
總結:用戶端的connect在三向交握的第二個次返回,而伺服器端的accept在三向交握的第三次返回。 5、socket中TCP的四次握手釋放串連詳解
上面介紹了socket中TCP的三向交握建立過程,及其涉及的socket函數。現在我們介紹socket中的四次握手釋放串連的過程,請看下圖:
圖2、socket中發送的TCP四次握手
圖示過程如下: 某個應用進程首先調用 close主動關閉串連,這時TCP發送一個FIN M; 另一端接收到FIN M之後,執行被動關閉,對這個FIN進行確認。它的接收也作為檔案結束符傳遞給應用進程,因為FIN的接收意味著應用進程在相應的串連上再也接收不到額外資料; 一段時間之後,接收到檔案結束符的應用進程調用 close關閉它的socket。這導致它的TCP也發送一個FIN N; 接收到這個FIN的源發送端TCP對它進行確認。
這樣每個方向上都有一個FIN和ACK。