轉：HTTP協議詳解（真的很經典）

標籤：blog   http   io   os   使用   ar   strong   for   檔案   

轉自：http://blog.csdn.net/gueter/archive/2007/03/08/1524447.aspx

Author :Jeffrey

引言                                        

HTTP是一個屬於應用程式層的物件導向的協議，由於其簡捷、快速的方式，適用於分布式超媒體資訊系統。它於1990年提出，經過幾年的使用與發展，得到不斷地完善和擴充。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的正常化工作進行中之中，而且HTTP-NG(Next Generation of HTTP)的建議已經提出。
HTTP協議的主要特點可概括如下：
1.支援客戶/伺服器模式。
2.簡單快速：客戶向伺服器請求服務時，只需傳送要求方法和路徑。要求方法常用的有GET、HEAD、POST。每種方法規定了客戶與伺服器聯絡的類型不同。由於HTTP協議簡單，使得HTTP伺服器的程式規模小，因而通訊速度很快。
3.靈活：HTTP允許傳輸任意類型的資料對象。正在傳輸的類型由Content-Type加以標記。
4.無串連：不需連線的含義是限制每次串連只處理一個請求。伺服器處理完客戶的請求，並收到客戶的應答後，即中斷連線。採用這種方式可以節省傳輸時間。
5.無狀態：HTTP協議是無狀態協議。無狀態是指協議對於交易處理沒有記憶能力。缺少狀態意味著如果後續處理需要前面的資訊，則它必須重傳，這樣可能導致每次串連傳送的資料量增大。另一方面，在伺服器不需要先前資訊時它的應答就較快。

 

一、HTTP協議詳解之URL篇

    http（超文字傳輸通訊協定 (HTTP)）是一個基於請求與響應模式的、無狀態的、應用程式層的協議，常基於TCP的串連方式，HTTP1.1版本中給出一種持續串連的機制，絕大多數的Web開發，都是構建在HTTP協議之上的Web應用。

HTTP URL (URL是一種特殊類型的URI，包含了用於尋找某個資源的足夠的資訊)的格式如下：
http://host[":"port][abs_path]
http表示要通過HTTP協議來定位網路資源；host表示合法的Internet主機網域名稱或者IP地址；port指定一個連接埠號碼，為空白則使用預設連接埠80；abs_path指定請求資源的URI；如果URL中沒有給出abs_path，那麼當它作為請求URI時，必須以“/”的形式給出，通常這個工作瀏覽器自動幫我們完成。
eg:
1、輸入：www.guet.edu.cn
瀏覽器自動轉換成：http://www.guet.edu.cn/
2、http:192.168.0.116:8080/index.jsp 

 

二、HTTP協議詳解之請求篇

    http請求由三部分組成，分別是：請求行、訊息前序、請求本文

1、請求行以一個方法符號開頭，以空格分開，後面跟著請求的URI和協議的版本，格式如下：Method Request-URI HTTP-Version CRLF  
其中 Method表示要求方法；Request-URI是一個統一資源識別項；HTTP-Version表示請求的HTTP協議版本；CRLF表示斷行符號和換行（除了作為結尾的CRLF外，不允許出現單獨的CR或LF字元）。

要求方法（所有方法全為大寫）有多種，各個方法的解釋如下：
GET     請求擷取Request-URI所標識的資源
POST    在Request-URI所標識的資源後附加新的資料
HEAD    請求擷取由Request-URI所標識的資源的響應訊息前序
PUT     請求伺服器儲存一個資源，並用Request-URI作為其標識
DELETE  請求伺服器刪除Request-URI所標識的資源
TRACE   請求伺服器回送收到的請求資訊，主要用於測試或診斷
CONNECT 保留將來使用
OPTIONS 請求查詢服務器的效能，或者查詢與資源相關的選項和需求
應用舉例：
GET方法：在瀏覽器的地址欄中輸入網址的方式訪問網頁時，瀏覽器採用GET方法向伺服器擷取資源，eg:GET /form.html HTTP/1.1 (CRLF)

POST方法要求被請求伺服器接受附在請求後面的資料，常用於提交表單。
eg：POST /reg.jsp HTTP/ (CRLF)
Accept:image/gif,image/x-xbit,... (CRLF)
...
HOST:www.guet.edu.cn (CRLF)
Content-Length:22 (CRLF)
Connection:Keep-Alive (CRLF)
Cache-Control:no-cache (CRLF)
(CRLF)         //該CRLF表示訊息前序已經結束，在此之前為訊息前序
user=jeffrey&pwd=1234  //此行以下為提交的資料

HEAD方法與GET方法幾乎是一樣的，對於HEAD請求的回應部分來說，它的HTTP頭部中包含的資訊與通過GET請求所得到的資訊是相同的。利用這個方法，不必傳輸整個資源內容，就可以得到Request-URI所標識的資源的資訊。該方法常用於測試超連結的有效性，是否可以訪問，以及最近是否更新。
2、請求前序後述
3、請求本文(略) 

 

三、HTTP協議詳解之響應篇

    在接收和解釋請求訊息後，伺服器返回一個HTTP響應訊息。

HTTP響應也是由三個部分組成，分別是：狀態行、訊息前序、響應本文
1、狀態行格式如下：
HTTP-Version Status-Code Reason-Phrase CRLF
其中，HTTP-Version表示伺服器HTTP協議的版本；Status-Code表示伺服器發回的響應狀態碼；Reason-Phrase表示狀態碼的文本描述。
狀態碼有三位元字組成，第一個數字定義了響應的類別，且有五種可能取值：
1xx：指示資訊--表示請求已接收，繼續處理
2xx：成功--表示請求已被成功接收、理解、接受
3xx：重新導向--要完成請求必須進行更進一步的操作
4xx：用戶端錯誤--請求有語法錯誤或請求無法實現
5xx：伺服器端錯誤--伺服器未能實現合法的請求
常見狀態碼、狀態原因、說明：
200 OK      //用戶端請求成功
400 Bad Request  //用戶端請求有語法錯誤，不能被伺服器所理解
401 Unauthorized //請求未經授權，這個狀態碼必須和WWW-Authenticate前序域一起使用 
403 Forbidden  //伺服器收到請求，但是拒絕提供服務
404 Not Found  //請求資源不存在，eg：輸入了錯誤的URL
500 Internal Server Error //伺服器發生不可預期的錯誤
503 Server Unavailable  //伺服器當前不能處理用戶端的請求，一段時間後可能恢複正常
eg：HTTP/1.1 200 OK （CRLF）

2、響應前序後述

3、響應本文就是伺服器返回的資源的內容 

 

四、HTTP協議詳解之訊息前序篇

    HTTP訊息由用戶端到伺服器的請求和伺服器到用戶端的回應群組成。請求訊息和響應訊息都是由開始行（對於請求訊息，開始行就是請求行，對於響應訊息，開始行就是狀態行），訊息前序（可選），空行（只有CRLF的行），訊息本文（可選）組成。

HTTP訊息前序包括普通前序、請求前序、響應前序、實體前序。
每一個前序域都是由名字+“：”+空格+值 組成，訊息前序域的名字是大小寫無關的。

1、普通前序
在普通前序中，有少數前序域用於所有的請求和響應訊息，但並不用於被傳輸的實體，只用於傳輸的訊息。
eg：
Cache-Control   用於指定緩衝指令，緩衝指令是單向的（響應中出現的緩衝指令在請求中未必會出現），且是獨立的（一個訊息的緩衝指令不會影響另一個訊息處理的緩衝機制），HTTP1.0使用的類似的前序域為Pragma。
請求時的緩衝指令包括：no-cache（用於指示請求或響應訊息不能緩衝）、no-store、max-age、max-stale、min-fresh、only-if-cached;
響應時的緩衝指令包括：public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age、s-maxage.
eg：為了指示IE瀏覽器（用戶端）不要快取頁面面，伺服器端的JSP程式可以編寫如下：response.sehHeader("Cache-Control","no-cache");
//response.setHeader("Pragma","no-cache");作用相當於上述代碼，通常兩者//合用
這句代碼將在發送的響應訊息中設定普通前序域：Cache-Control:no-cache

Date普通前序域表示訊息產生的日期和時間

Connection普通前序域允許發送指定串連的選項。例如指定串連是連續，或者指定“close”選項，通知伺服器，在響應完成後，關閉串連

2、請求前序
請求前序允許用戶端向伺服器端傳遞請求的附加資訊以及用戶端自身的資訊。
常用的請求前序
Accept
Accept請求前序域用於指定用戶端接受哪些類型的資訊。eg：Accept：image/gif，表明用戶端希望接受GIF圖象格式的資源；Accept：text/html，表明用戶端希望接受html文本。
Accept-Charset
Accept-Charset請求前序域用於指定用戶端接受的字元集。eg：Accept-Charset:iso-8859-1,gb2312.如果在請求訊息中沒有設定這個域，預設是任何字元集都可以接受。
Accept-Encoding
Accept-Encoding請求前序域類似於Accept，但是它是用於指定可接受的內容編碼。eg：Accept-Encoding:gzip.deflate.如果請求訊息中沒有設定這個網域服務器假定用戶端對各種內容編碼都可以接受。
Accept-Language
Accept-Language請求前序域類似於Accept，但是它是用於指定一種自然語言。eg：Accept-Language:zh-cn.如果請求訊息中沒有設定這個前序域，伺服器假定用戶端對各種語言都可以接受。
Authorization
Authorization請求前序域主要用於證明用戶端有權查看某個資源。當瀏覽器訪問一個頁面時，如果收到伺服器的響應代碼為401（未授權），可以發送一個包含Authorization請求前序域的請求，要求伺服器對其進行驗證。
Host（發送請求時，該前序域是必需的）
Host請求前序域主要用於指定被請求資源的Internet主機和連接埠號碼，它通常從HTTP URL中提取出來的，eg：
我們在瀏覽器中輸入：http://www.guet.edu.cn/index.html
瀏覽器發送的請求訊息中，就會包含Host請求前序域，如下：
Host：www.guet.edu.cn
此處使用預設連接埠號碼80，若指定了連接埠號碼，則變成：Host：www.guet.edu.cn:指定連接埠號碼
User-Agent
我們上網登陸論壇的時候，往往會看到一些歡迎資訊，其中列出了你的作業系統的名稱和版本，你所使用的瀏覽器的名稱和版本，這往往讓很多人感到很神奇，實際上，伺服器應用程式就是從User-Agent這個請求前序域中擷取到這些資訊。User-Agent請求前序域允許用戶端將它的作業系統、瀏覽器和其它屬性告訴伺服器。不過，這個前序域不是必需的，如果我們自己編寫一個瀏覽器，不使用User-Agent請求前序域，那麼伺服器端就無法得知我們的資訊了。
請求前序舉例：
GET /form.html HTTP/1.1 (CRLF)
Accept:image/gif,image/x-xbitmap,image/jpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword,*/* (CRLF)
Accept-Language:zh-cn (CRLF)
Accept-Encoding:gzip,deflate (CRLF)
If-Modified-Since:Wed,05 Jan 2007 11:21:25 GMT (CRLF)
If-None-Match:W/"80b1a4c018f3c41:8317" (CRLF)
User-Agent:Mozilla/4.0(compatible;MSIE6.0;Windows NT 5.0) (CRLF)
Host:www.guet.edu.cn (CRLF)
Connection:Keep-Alive (CRLF)
(CRLF)

3、響應前序
響應前序允許伺服器傳遞不能放在狀態行中的附加響應資訊，以及關於伺服器的資訊和對Request-URI所標識的資源進行下一步訪問的資訊。
常用的響應前序
Location
Location響應前序域用於重新導向接受者到一個新的位置。Location響應前序域常用在更換網域名稱的時候。
Server
Server響應前序域包含了伺服器用來處理請求的軟體資訊。與User-Agent請求前序域是相對應的。下面是
Server響應前序域的一個例子：
Server：Apache-Coyote/1.1
WWW-Authenticate
WWW-Authenticate響應前序域必須被包含在401（未授權的）響應訊息中，用戶端收到401響應訊息時候，並發送Authorization前序域請求伺服器對其進行驗證時，服務端響應前序就包含該前序域。
eg：WWW-Authenticate:Basic realm="Basic Auth Test!"  //可以看出伺服器對請求資源採用的是基本驗證機制。

4、實體前序
請求和響應訊息都可以傳送一個實體。一個實體由實體前序域和實體本文組成，但並不是說實體前序域和實體本文要在一起發送，可以只發送實體前序域。實體前序定義了關於實體本文（eg：有無實體本文）和請求所標識的資源的元資訊。
常用的實體前序
Content-Encoding
Content-Encoding實體前序域被用作媒體類型的修飾符，它的值指示了已經被應用到實體本文的附加內容的編碼，因而要獲得Content-Type前序域中所引用的媒體類型，必須採用相應的解碼機制。Content-Encoding這樣用於記錄文檔的壓縮方法，eg：Content-Encoding：gzip
Content-Language
Content-Language實體前序域描述了資源所用的自然語言。沒有設定該域則認為實體內容將提供給所有的語言閱讀
者。eg：Content-Language:da
Content-Length
Content-Length實體前序域用於指明實體本文的長度，以位元組方式儲存的十進位數字來表示。
Content-Type
Content-Type實體前序域用語指明發送給接收者的實體本文的媒體類型。eg：
Content-Type:text/html;charset=ISO-8859-1
Content-Type:text/html;charset=GB2312
Last-Modified
Last-Modified實體前序域用於指示資源的最後修改日期和時間。
Expires
Expires實體前序域給出響應到期的日期和時間。為了讓Proxy 伺服器或瀏覽器在一段時間以後更新緩衝中(再次訪問曾訪問過的頁面時，直接從緩衝中載入，縮短回應時間和降低伺服器負載)的頁面，我們可以使用Expires實體前序域指定頁面到期的時間。eg：Expires：Thu，15 Sep 2006 16:23:12 GMT
HTTP1.1的用戶端和緩衝必須將其他非法的日期格式（包括0）看作已經到期。eg：為了讓瀏覽器不要快取頁面面，我們也可以利用Expires實體前序域，設定為0，jsp中程式如下：response.setDateHeader("Expires","0");

 

五、利用telnet觀察http協議的通訊過程

    實驗目的及原理：
    利用MS的telnet工具，通過手動輸入http請求資訊的方式，向伺服器發出請求，伺服器接收、解釋和接受請求後，會返回一個響應，該響應會在telnet視窗上顯示出來，從而從感性上加深對http協議的通訊過程的認識。

    實驗步驟：

1、開啟telnet
1.1 開啟telnet
運行-->cmd-->telnet

1.2 開啟telnet回顯功能
set localecho

2、串連伺服器並發送請求
2.1 open www.guet.edu.cn 80  //注意連接埠號碼不能省略

    HEAD /index.asp HTTP/1.0
    Host:www.guet.edu.cn
    
   /*我們可以變換要求方法,請求桂林電子首頁內容,輸入訊息如下*/
    open www.guet.edu.cn 80 
   
    GET /index.asp HTTP/1.0  //請求資源的內容
    Host:www.guet.edu.cn  

2.2 open www.sina.com.cn 80  //在命令提示字元號下直接輸入telnet www.sina.com.cn 80
    HEAD /index.asp HTTP/1.0
    Host:www.sina.com.cn
 

3 實驗結果：

3.1 請求資訊2.1得到的響應是:

HTTP/1.1 200 OK                                              //請求成功
Server: Microsoft-IIS/5.0                                    //web伺服器
Date: Thu,08 Mar 200707:17:51 GMT
Connection: Keep-Alive                                 
Content-Length: 23330
Content-Type: text/html
Expries: Thu,08 Mar 2007 07:16:51 GMT
Set-Cookie: ASPSESSIONIDQAQBQQQB=BEJCDGKADEDJKLKKAJEOIMMH; path=/
Cache-control: private

//資源內容省略

3.2 請求資訊2.2得到的響應是:

HTTP/1.0 404 Not Found       //請求失敗
Date: Thu, 08 Mar 2007 07:50:50 GMT
Server: Apache/2.0.54 <Unix>
Last-Modified: Thu, 30 Nov 2006 11:35:41 GMT
ETag: "6277a-415-e7c76980"
Accept-Ranges: bytes
X-Powered-By: mod_xlayout_jh/0.0.1vhs.markII.remix
Vary: Accept-Encoding
Content-Type: text/html
X-Cache: MISS from zjm152-78.sina.com.cn
Via: 1.0 zjm152-78.sina.com.cn:80<squid/2.6.STABLES-20061207>
X-Cache: MISS from th-143.sina.com.cn
Connection: close

失去了跟主機的串連

按任意鍵繼續...

4 .注意事項：1、出現輸入錯誤，則請求不會成功。
          2、前序域不分大小寫。
          3、更深一步瞭解HTTP協議，可以查看RFC2616，在http://www.letf.org/rfc上找到該檔案。
          4、開發背景程式必須掌握http協議

六、HTTP協議相關技術補充

    1、基礎：
    高層協議有：檔案傳輸通訊協定FTP、電子郵件傳輸協議SMTP、網域名稱系統服務DNS、網路新聞傳輸通訊協定NNTP和HTTP協議等
中介由三種：代理(Proxy)、網關(Gateway)和通道(Tunnel)，一個代理根據URI的絕對格式來接受請求，重寫全部或部分訊息，通過 URI的標識把已格式化過的請求發送到伺服器。網關是一個接收代理，作為一些其它伺服器的上層，並且如果必須的話，可以把請求翻譯給下層的伺服器協議。一 個通道作為不改變訊息的兩個串連之間的中繼點。當通訊需要通過一個中介(例如：防火牆等)或者是中介不能識別訊息的內容時，通道經常被使用。
     代理(Proxy)：一個中間程式，它可以充當一個伺服器，也可以充當一個客戶機，為其它客戶機建立請求。請求是通過可能的翻譯在內部或經過傳遞到其它的 伺服器中。一個代理在發送請求資訊之前，必須解釋並且如果可能重寫它。代理經常作為通過防火牆的客戶機端的門戶，代理還可以作為一個協助應用來通過協議處 理沒有被使用者代理程式完成的請求。
網關(Gateway)：一個作為其它伺服器中間媒介的伺服器。與代理不同的是，網關接受請求就好象對被請求的資源來說它就是原始伺服器；發出請求的客戶機並沒有意識到它在同網關打交道。
網關經常作為通過防火牆的伺服器端的門戶，網關還可以作為一個協議翻譯器以便存取那些儲存在非HTTP系統中的資源。
    通道(Tunnel)：是作為兩個串連中繼的中介程式。一旦啟用，通道便被認為不屬於HTTP通訊，儘管通道可能是被一個HTTP請求初始化的。當被中繼 的串連兩端關閉時，通道便消失。當一個門戶(Portal)必須存在或中介(Intermediary)不能解釋中繼的通訊時通道被經常使用。

2、協議分析的優勢—HTTP分析器檢測網路攻擊
以模組化的方式對高層協議進行分析處理，將是未來入侵檢測的方向。
HTTP及其代理的常用連接埠80、3128和8080在network部分用port標籤進行了規定

3、HTTP協議Content Lenth限制漏洞導致拒絕服務的攻擊
使用POST方法時，可以設定ContentLenth來定義需要傳送的資料長度，例如ContentLenth:999999999，在傳送完成前，內 存不會釋放，攻擊者可以利用這個缺陷，連續向WEB伺服器發送垃圾資料直至WEB伺服器記憶體耗盡。這種攻擊方法基本不會留下痕迹。
http://www.cnpaf.net/Class/HTTP/0532918532667330.html

4、利用HTTP協議的特性進行拒絕服務的攻擊的一些構思
伺服器端忙於處理攻擊者偽造的TCP串連請求而無暇理睬客戶的正常請求（畢竟用戶端的正常請求比率非常之小），此時從正常客戶的角度看來，伺服器失去響應，這種情況我們稱作：伺服器端受到了SYNFlood攻擊（SYN洪水攻擊）。
而Smurf、TearDrop等是利用ICMP報文來Flood和IP片段攻擊的。本文用“正常串連”的方法來產生拒絕服務的攻擊。
19連接埠在早期已經有人用來做Chargen攻擊了，即Chargen_Denial_of_Service，但是！他們用的方法是在兩台Chargen 伺服器之間產生UDP串連，讓伺服器處理過多資訊而DOWN掉，那麼，幹掉一台WEB伺服器的條件就必須有2個：1.有Chargen服務2.有HTTP 服務
方法：攻擊者偽造源IP給N台Chargen發送串連請求（Connect），Chargen接收到串連後就會返回每秒72位元組的字元流（實際上根據網路實際情況，這個速度更快）給伺服器。

5、Http指紋識別技術
   Http指紋識別的原理大致上也是相同的：記錄不同伺服器對Http協議執行中的微小差別進行識別.Http指紋識別比TCP/IP堆棧指紋識別複雜許 多,理由是定製Http伺服器的設定檔、增加外掛程式或組件使得更改Http的響應資訊變的很容易,這樣使得識別變的困難；然而定製TCP/IP堆棧的行為 需要對核心層進行修改,所以就容易識別.
      要讓伺服器返回不同的Banner資訊的設定是很簡單的,象Apache這樣的開放原始碼的Http伺服器,使用者可以在原始碼裡修改Banner資訊,然 後重起Http服務就生效了；對於沒有公開原始碼的Http伺服器比如微軟的IIS或者是Netscape,可以在存放Banner資訊的Dll檔案中修 改,相關的文章有討論的,這裡不再贅述,當然這樣的修改的效果還是不錯的.另外一種模糊Banner資訊的方法是使用外掛程式。
常用測試請求：
1：HEAD/Http/1.0發送基本的Http請求
2：DELETE/Http/1.0發送那些不被允許的請求,比如Delete請求
3：GET/Http/3.0發送一個非法版本的Http協議請求
4：GET/JUNK/1.0發送一個不正確規格的Http協議請求
Http指紋識別工具Httprint,它通過運用統計學原理,組合模糊的邏輯學技術,能很有效確定Http伺服器的類型.它可以被用來收集和分析不同Http伺服器產生的簽名。

6、其他：為了提高使用者使用瀏覽器時的效能，現代瀏覽器還支援並發的訪問方式，瀏覽一個網頁時同時建立多個串連，以迅速獲得一個網頁上的多個表徵圖，這樣能更快速完成整個網頁的傳輸。
HTTP1.1中提供了這種持續串連的方式，而下一代HTTP協議：HTTP-NG更增加了有關會話控制、豐富的內容協商等方式的支援，來提供
更高效率的串連。

轉：HTTP協議詳解（真的很經典）