python全棧學習筆記（一）網路基礎之網路通訊協定篇

標籤：img   學習   響應   網頁   bsp   源地址   進位   internet   網卡   

閱讀目錄

• 一.作業系統基礎
• 二.網路通訊原理
• 2.1 互連網的本質就是一系列的網路通訊協定
• 2.2 osi七層協議
• 2.3 tcp/ip五層模型講解
• 2.3.1 物理層
• 2.3.2 資料連結層
• 2.3.3 網路層
• 2.3.4 傳輸層
• 2.3.5 應用程式層
• 2.3.6 socket
• 三.網路通訊實現
• 四.網路通訊流程

一.作業系統基礎

  作業系統:(Operating System，簡稱OS)是管理和控制電腦硬體與軟體資源的電腦程式，是直接運行在“裸機”上的最基本的系統軟體，任何其他軟體都必須在作業系統的支援下才能運行。

註：電腦(硬體)－>os－>應用軟體

二.網路通訊原理2.1 互連網的本質就是一系列的網路通訊協定

一台硬設有了作業系統，然後裝上軟體你就可以正常使用了，然而你也只能自己使用

像這樣，每個人都擁有一台自己的機器，然而彼此孤立

如何能大家一起玩耍

然而internet為何物？

其實兩台電腦之間通訊與兩個人打電話之間通訊的原理是一樣的（中國有很多地區，不同的地區有不同的方言，為了全中國人都可以聽懂，大家統一講普通話）

普通話屬於中國國內人與人之間通訊的標準，那如果是兩個國家的人交流呢？

問題是，你不可能要求一個人／電腦掌握全世界的語言／標準，於是有了世界統一的通訊標準：英語

 

結論：英語成為世界上所有人通訊的統一標準，如果把電腦看成分佈於世界各地的人，那麼串連兩台電腦之間的internet實際上就是

一系列統一的標準，這些標準稱之為互連網協議，互連網的本質就是一系列的協議，總稱為‘互連網協議’（Internet Protocol Suite).

互連網協議的功能：定義電腦如何接入internet，以及接入internet的電腦通訊的標準。

2.2 osi七層協議

互連網協議按照功能不同分為osi七層或tcp/ip五層或tcp/ip四層

 

每層運行常見物理裝置

 

2.3 tcp/ip五層模型講解

我們將應用程式層，展示層，會話層並作應用程式層，從tcp／ip五層協議的角度來闡述每層的由來與功能，搞清楚了每層的主要協議

就理解了整個互連網通訊的原理。

首先，使用者感知到的只是最上面一層應用程式層，自上而下每層都依賴於下一層，所以我們從最下一層開始切入，比較好理解

每層都運行特定的協議，越往上越靠近使用者，越往下越靠近硬體

2.3.1 物理層

物理層由來：上面提到，孤立的電腦之間要想一起玩，就必須接入internet，言外之意就是電腦之間必須完成組網

物理層功能：主要是基於電器特性發送高低電壓(電訊號)，高電壓對應數字1，低電壓對應數字0

2.3.2 資料連結層

資料連結層由來：單純的電訊號0和1沒有任何意義，必須規定電訊號多少位一組，每組什麼意思

資料連結層的功能：定義了電訊號的分組方式

乙太網路協議：

早期的時候各個公司都有自己的分組方式，後來形成了統一的標準，即乙太網路協議ethernet

ethernet規定

• 一組電訊號構成一個資料包，叫做‘幀’
• 每一資料幀分成：前序head和資料data兩部分

head

data

 

head包含：(固定18個位元組)

• 寄件者／源地址，6個位元組
• 接收者／目標地址，6個位元組
• 資料類型，6個位元組

data包含：(最短46位元組，最長1500位元組)

• 資料包的具體內容

head長度＋data長度＝最短64位元組，最長1518位元組，超過最大限制就分區發送

mac地址：

head中包含的源和目標地址由來：ethernet規定接入internet的裝置都必須具備網卡，發送端和接收端的地址便是指網卡的地址，即mac地址

mac地址：每塊網卡出廠時都被燒制上一個世界唯一的mac地址，長度為48位2進位，通常由12位16進位數表示（前六位是廠商編號，後六位是流水線號）

廣播：

有了mac地址，同一網路內的兩台主機就可以通訊了（一台主機通過arp協議擷取另外一台主機的mac地址）

ethernet採用最原始的方式，廣播的方式進行通訊，即電腦通訊基本靠吼

2.3.3 網路層

網路層由來：有了ethernet、mac地址、廣播的發送方式，世界上的電腦就可以彼此通訊了，問題是世界範圍的互連網是由

一個個彼此隔離的小的區域網路組成的，那麼如果所有的通訊都採用乙太網路的廣播方式，那麼一台機器發送的包全世界都會收到，

這就不僅僅是效率低的問題了，這會是一種災難

結論：必須找出一種方法來區分哪些電腦屬於同一廣播域，哪些不是，如果是就採用廣播的方式發送，如果不是，

就採用路由的方式（向不同廣播域／子網分發資料包），mac地址是無法區分的，它只跟廠商有關

網路層功能：引入一套新的地址用來區分不同的廣播域／子網，這套地址即網路地址

IP協議：

• 規定網路地址的協議叫ip協議，它定義的地址稱之為ip地址，廣泛採用的v4版本即ipv4，它規定網路地址由32位2進位表示
• 範圍0.0.0.0-255.255.255.255
• 一個ip地址通常寫成四段十進位數，例：172.16.10.1

ip地址分成兩部分

• 網路部分：標識子網
• 主機部分：標識主機

注意：單純的ip位址區段只是標識了ip地址的種類，從網路部分或主機部分都無法辨識一個ip所處的子網

例：172.16.10.1與172.16.10.2並不能確定二者處於同一子網

子網路遮罩

所謂”子網路遮罩”，就是表示子網路特徵的一個參數。它在形式上等同於IP地址，也是一個32位位元字，它的網路部分全部為1，主機部分全部為0。比如，IP地址172.16.10.1，如果已知網路部分是前24位，主機部分是後8位，那麼子網路遮罩就是11111111.11111111.11111111.00000000，寫成十進位就是255.255.255.0。

 

知道”子網路遮罩”，我們就能判斷，任意兩個IP地址是否處在同一個子網路。方法是將兩個IP地址與子網路遮罩分別進行AND運算（兩個數位都為1，運算結果為1，否則為0），然後比較結果是否相同，如果是的話，就表明它們在同一個子網路中，否則就不是。

 

比如，已知IP地址172.16.10.1和172.16.10.2的子網路遮罩都是255.255.255.0，請問它們是否在同一個子網路？兩者與子網路遮罩分別進行AND運算，

172.16.10.1：10101100.00010000.00001010.000000001

255255.255.255.0:11111111.11111111.11111111.00000000

AND運算得網路地址結果：10101100.00010000.00001010.000000001->172.16.10.0

 

172.16.10.2：10101100.00010000.00001010.000000010

255255.255.255.0:11111111.11111111.11111111.00000000

AND運算得網路地址結果：10101100.00010000.00001010.000000001->172.16.10.0

結果都是172.16.10.0，因此它們在同一個子網路。

總結一下，IP協議的作用主要有兩個，一個是為每一台電腦分配IP地址，另一個是確定哪些地址在同一個子網路。

ip資料包

ip資料包也分為head和data部分，無須為ip包定義單獨的欄位，直接放入乙太網路包的data部分

 

head：長度為20到60位元組

data：最長為65,515位元組。

而乙太網路資料包的”資料”部分，最長只有1500位元組。因此，如果IP資料包超過了1500位元組，它就需要分割成幾個乙太網路資料包，分開發送了。

 

乙太網路頭

ip 頭

ip資料

 

 

 ARP協議

arp協議由來：電腦通訊基本靠吼，即廣播的方式，所有上層的包到最後都要封裝上乙太網路頭，然後通過乙太網路協議發送，在談及乙太網路協議時候，我門瞭解到

通訊是基於mac的廣播方式實現，電腦在發包時，擷取自身的mac是容易的，如何擷取目標主機的mac，就需要通過arp協議

arp協議功能：廣播的方式發送資料包，擷取目標主機的mac地址

 

協議工作方式：每台主機ip都是已知的

例如：主機172.16.10.10/24訪問172.16.10.11/24

一：首先通過ip地址和子網路遮罩區分出自己所處的子網

情境	資料包地址
同一子網	目標主機mac，目標主機ip
不同子網	網關mac，目標主機ip

 

 

 

二：分析172.16.10.10/24與172.16.10.11/24處於同一網路(如果不是同一網路，那麼下表中目標ip為172.16.10.1,通過arp擷取的是網關的mac)

	源mac	目標mac	源ip	目標ip	資料部分
發送端主機	發送端mac	FF:FF:FF:FF:FF:FF	172.16.10.10/24	172.16.10.11/24	資料

 

 

三：這個包會以廣播的方式在發送端所處的自網內傳輸，所有主機接收後拆開包，發現目標ip為自己的，就響應，返回自己的mac

2.3.4 傳輸層

傳輸層的由來：網路層的ip幫我們區分子網，乙太網路層的mac幫我們找到主機，然後大家使用的都是應用程式，你的電腦上可能同時開啟qq，暴風影音，等多個應用程式，

那麼我們通過ip和mac找到了一台特定的主機，如何標識這台主機上的應用程式，答案就是連接埠，連接埠即應用程式與網卡關聯的編號。

傳輸層功能：建立連接埠到連接埠的通訊

補充：連接埠範圍0-65535，0-1023為系統佔用連接埠

tcp協議：

可靠傳輸，TCP資料包沒有長度限制，理論上可以無限長，但是為了保證網路的效率，通常TCP資料包的長度不會超過IP資料包的長度，以確保單個TCP資料包不必再分割。

乙太網路頭

ip 頭

tcp頭

資料

 

udp協議：

不可靠傳輸，”前序”部分一共只有8個位元組，總長度不超過65,535位元組，正好放進一個IP資料包。

乙太網路頭

ip頭

udp頭

資料

 

tcp報文

tcp三向交握和四次揮手

2.3.5 應用程式層

應用程式層由來：使用者使用的都是應用程式，均工作於應用程式層，互連網是開發的，大家都可以開發自己的應用程式，資料多種多樣，必須規定好資料的組織形式 

應用程式層功能：規定應用程式的資料格式。

例：TCP協議可以為各種各樣的程式傳遞資料，比如Email、WWW、FTP等等。那麼，必須有不同協議規定電子郵件、網頁、FTP資料的格式，這些應用程式協議就構成了”應用程式層”。

 

2.3.6 socket

我們知道兩個進程如果需要進行通訊最基本的一個前提能能夠唯一的標示一個進程，在本地進程通訊中我們可以使用PID來唯一標示一個進程，但PID只在本地唯一，網路中的兩個進程PID衝突幾率很大，這時候我們需要另闢它徑了，我們知道IP層的ip地址可以唯一標示主機，而TCP層協議和連接埠號碼可以唯一標示主機的一個進程，這樣我們可以利用ip地址＋協議＋連接埠號碼唯一標示網路中的一個進程。

能夠唯一標示網路中的進程後，它們就可以利用socket進行通訊了，什麼是socket呢？我們經常把socket翻譯為通訊端，socket是在應用程式層和傳輸層之間的一個抽象層，它把TCP/IP層複雜的操作抽象為幾個簡單的介面供應用程式層調用已實現進程在網路中通訊。

socket起源於UNIX，在Unix一切皆檔案哲學的思想下，socket是一種"開啟—讀/寫—關閉"模式的實現，伺服器和用戶端各自維護一個"檔案"，在建立串連開啟後，可以向自己檔案寫入內容供對方讀取或者讀取對方內容，通訊結束時關閉檔案。

三.網路通訊實現

想實現網路通訊，每台主機需具備四要素

• 原生IP地址
• 子網路遮罩
• 網關的IP地址
• DNS的IP地址

擷取這四要素分兩種方式

1.靜態擷取

即手動設定

2.動態擷取

通過dhcp擷取

乙太網路頭

ip頭

udp頭

dhcp資料包

 

（1）最前面的”乙太網路標題”，設定發出方（本機）的MAC地址和接收方（DHCP伺服器）的MAC地址。前者就是本機網卡的MAC地址，後者這時不知道，就填入一個廣播位址：FF-FF-FF-FF-FF-FF。

 

（2）後面的”IP標題”，設定發出方的IP地址和接收方的IP地址。這時，對於這兩者，本機都不知道。於是，發出方的IP地址就設為0.0.0.0，接收方的IP地址設為255.255.255.255。

 

（3）最後的”UDP標題”，設定發出方的連接埠和接收方的連接埠。這一部分是DHCP協議規定好的，發出方是68連接埠，接收方是67連接埠。

 

這個資料包構造完成後，就可以發出了。乙太網路是廣播發送，同一個子網路的每台電腦都收到了這個包。因為接收方的MAC地址是FF-FF-FF-FF-FF-FF，看不出是發給誰的，所以每台收到這個包的電腦，還必須分析這個包的IP地址，才能確定是不是發給自己的。當看到發出方IP地址是0.0.0.0，接收方是255.255.255.255，於是DHCP伺服器知道”這個包是發給我的”，而其他電腦就可以丟棄這個包。

 

接下來，DHCP伺服器讀出這個包的資料內容，分配好IP地址，發送回去一個”DHCP響應”資料包。這個響應包的結構也是類似的，乙太網路標題的MAC地址是雙方的網卡地址，IP標題的IP地址是DHCP伺服器的IP地址（發出方）和255.255.255.255（接收方），UDP標題的連接埠是67（發出方）和68（接收方），分配給請求端的IP地址和本網路的具體參數則包含在Data部分。

 

新加入的電腦收到這個響應包，於是就知道了自己的IP地址、子網路遮罩、網關地址、DNS伺服器等等參數

四.網路通訊流程

1.本機擷取

• 原生IP地址：192.168.1.100
• 子網路遮罩：255.255.255.0
• 網關的IP地址：192.168.1.1
• DNS的IP地址：8.8.8.8

2.開啟瀏覽器，想要訪問Google，在地址欄輸入了網址：www.google.com。

3.dns協議(基於udp協議)

 

13台根dns：

A.root-servers.net198.41.0.4美國 B.root-servers.net192.228.79.201美國（另支援IPv6） C.root-servers.net192.33.4.12法國 D.root-servers.net128.8.10.90美國 E.root-servers.net192.203.230.10美國 F.root-servers.net192.5.5.241美國（另支援IPv6） G.root-servers.net192.112.36.4美國 H.root-servers.net128.63.2.53美國（另支援IPv6） I.root-servers.net192.36.148.17瑞典 J.root-servers.net192.58.128.30美國 K.root-servers.net193.0.14.129英國（另支援IPv6） L.root-servers.net198.32.64.12美國 M.root-servers.net202.12.27.33日本（另支援IPv6）

 

網域名稱定義：http://jingyan.baidu.com/article/1974b289a649daf4b1f774cb.html

頂級網域名稱：以.com,.net,.org,.cn等等屬於國際頂級網域名稱，根據目前的國際互連網網域名稱體系，國際頂級網域名稱分為兩類：類別頂級網域名稱(gTLD)和地理頂級網域名稱(ccTLD)兩種。類別頂級網域名稱是　　　　　　　　            以"COM"、"NET"、"ORG"、"BIZ"、"INFO"等結尾的網域名稱，均由國外公司負責管理。地理頂級網域名稱是以國家或地區代碼為結尾的網域名稱，如"CN"代表中國，"UK"代表英國。地理頂級網域名稱一般由各個國家或地區負責管理。

次層網域：次層網域是以頂級網域名稱為基礎的地理網域名稱，比喻中國的二級域有，.com.cn,.net.cn,.org.cn,.gd.cn等.子網域名稱是其父網域名稱的子網域名稱，比喻父網域名稱是abc.com,子網域名稱就是www.abc.com或者*.abc.com. 一般來說，次層網域是網域名稱的一條記錄，比如alidiedie.com是一個網域名稱，www.alidiedie.com是其中比較常用的記錄，一般預設是用這個，但是類似*.alidiedie.com的網域名稱全部稱作是alidiedie.com的二級

 

 

4.HTTP部分的內容，類似於下面這樣：

 

GET / HTTP/1.1 Host: www.google.com Connection: keep-alive User-Agent: Mozilla/5.0 (Windows NT 6.1) …… Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Encoding: gzip,deflate,sdch Accept-Language: zh-CN,zh;q=0.8 Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3 Cookie: … …

 

我們假定這個部分的長度為4960位元組，它會被嵌在TCP資料包之中。

 

5 TCP協議

 

TCP資料包需要設定連接埠，接收方（Google）的HTTP連接埠預設是80，發送方（本機）的連接埠是一個隨機產生的1024-65535之間的整數，假定為51775。

TCP資料包的標題長度為20位元組，加上嵌入HTTP的資料包，總長度變為4980位元組。

 

6 IP協議

 

然後，TCP資料包再嵌入IP資料包。IP資料包需要設定雙方的IP地址，這是已知的，發送方是192.168.1.100（本機），接收方是172.194.72.105（Google）。

IP資料包的標題長度為20位元組，加上嵌入的TCP資料包，總長度變為5000位元組。

 

7 乙太網路協議

 

最後，IP資料包嵌入乙太網路資料包。乙太網路資料包需要設定雙方的MAC地址，發送方為原生網卡MAC地址，接收方為網關192.168.1.1的MAC地址（通過ARP協議得到）。

乙太網路資料包的資料部分，最大長度為1500位元組，而現在的IP資料包長度為5000位元組。因此，IP資料包必須分割成四個包。因為每個包都有自己的IP標題（20位元組），所以四個包的IP資料包的長度分別為1500、1500、1500、560。

 

 

8 伺服器端響應

 

經過多個網關的轉寄，Google的伺服器172.194.72.105，收到了這四個乙太網路資料包。

根據IP標題的序號，Google將四個包拼起來，取出完整的TCP資料包，然後讀出裡面的”HTTP請求”，接著做出”HTTP響應”，再用TCP協議發回來。

本機收到HTTP響應以後，就可以將網頁顯示出來，完成一次網路通訊

python全棧學習筆記（一）網路基礎之網路通訊協定篇