[轉]用C#如何?大檔案的斷點上傳

標籤：

最近做在做一個項目，涉及到檔案上傳的問題。 以前也做過檔案上傳。但都是些小檔案，不超過2m。 這次要求上傳1g以上的東西。 沒辦法找來資料研究了一下。 基於web的檔案上傳可以使用ftp和http兩種協議，用ftp的話雖然傳輸穩定，但安全性是個嚴重的問題，所以沒有考慮。 剩下只有http。 在http中有3種方式，put、webdav、rfc1867，前2種方法不適合大檔案上傳，在這裡也不說了。  

確定使用rfc1867格式處理之後開始分析流行的上傳組件。看了n多代碼之後發現，目前無組件程式和一些com組件都是使用request.binaryread方法。一次性得到上傳的資料，然後分析處理。這就是為什麼上傳大檔案很慢的原因了，iis逾時不說，就算1g檔案上去了，分析處理也得一陣子。 之後我把注意力放在國外商業組件上，比較流行的有power-web，aspupload,activefile,abcupload,aspsmartupload,sa-fileup。其中比較優秀的是aspupload和sa-file，他們號稱可以處理2g的檔案(sa-file ee版甚至沒有檔案大小的限制)，而且效率也是非常棒，難道程式設計語言的效率差這麼多?(我的編程環境是vb6)  查了一些資料,覺得他們都是直接操作檔案流。這樣就不受檔案大小的制約。 真是個好方法。 

但老外的東西也不是絕對完美，aspupload處理大檔案後,記憶體佔用情況驚人。1g左右都是稀鬆平常。我用的是3.0.0.3版。至於sa-file雖然是好東西但是破解難尋(鬱悶死..) 失望之際，發現2款上傳組件，lion.web.uploadmodule和aspnetupload，都是.net的，估計也是操作檔案流。但是上傳速度和cpu佔用率都不如老外的商業組件。 

做了個測試，lan內傳1g的檔案。aspupload上傳速度平均是4.4m/s，cpu佔用10-15，記憶體佔用700m。sa-file也差不多這樣。而aspnetupload最快也只有1.5m/s，平均是700k/s，cpu佔用15-39，測試環境:piii800,256m記憶體,100m lan。我想aspnetupload速度慢是可能因為一邊接收檔案，一邊寫硬碟。資源佔用低的代價就是降低傳輸速度。 但也不得不佩服老外的程式，cpu佔用如此之低.....這樣2個.net的組件也被pass. 

稍帶2個問題就是上傳進度和斷點續傳。 
顯示上傳進度比較簡單，主要是查詢使用者上傳的狀態，用script顯示到瀏覽器中，至於無重新整理顯示就要看指令碼語言運用的熟練程度了。 
斷點續傳，http方式是實現不了的，因為瀏覽器每次上傳檔案都是從頭開始，沒有range標籤。實現的方法只能用activex。 


研究之後決定寫個cgi來處理檔案上傳。 這樣可以不走iis以免程式出錯影響網站訪問。小弟比較菜只能用vb6做，完成之後發現win cgi的效率簡直就是差的不能再差。索性寫個file server，專門處理檔案的上傳。但是現在遇到一個2個問題。 

一、用winsock控制項接收到的文本有亂碼 不知道是程式轉換時的錯誤還是winsock本身垃圾，so 換了powertcp的winsock tool，情況有所好轉 亂碼沒那麼多了.........準備換vb.net，直接操作socket，程式還沒做，不知道用.net接收會不會亂碼。再有就哭了。 

二、這個問題就比較初級了....已接收的檔案流不能還原成檔案..寒一個， 


最後就是如何高效處理檔案流, 我想來想去也就只有2種方法，一是都放在記憶體裡，然後一起處理， 二是一邊接收一邊寫檔案。 但這2種方法都不盡如人意思

在瞭解HTTP斷點續傳的原理之前，讓我們先來瞭解一下HTTP協議，HTTP協議是一種基於tcp的簡單協議，分為請求和回複兩種。請求協議是由客戶機(瀏覽器)向伺服器（WEB SERVER）提交請求時發送報文的協議。回複協議是由伺服器(web server)，向客戶機(瀏覽器)回複報文時的協議。請求和回複協議都由頭和體組成。頭和體之間以一行空行為分隔。
以下是一個請求報文與相應的回複報文的例子：

GET /image/index_r4_c1.jpg HTTP/1.1 Accept: */* Referer: http://192.168.3.120:8080 Accept-Language: zh-cn Accept-Encoding: gzip, deflate User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705) Host: 192.168.3.120:8080 Connection: Keep-Alive HTTP/1.1 200 OK Server: Microsoft-IIS/5.0 Date: Tue, 24 Jun 2003 05:39:40 GMT Content-Type: image/jpeg Accept-Ranges: bytes Last-Modified: Thu, 23 May 2002 03:05:40 GMT ETag: "bec48eb862c21:934" Content-Length: 2827 ….

 

　　下面我們就來說說"斷點續傳"，顧名思義，斷點續傳就是在上一次下載時斷開的位置開始繼續下載。
在HTTP協議中，可以在請求報文頭中加入Range段，來表示客戶機希望從何處繼續下載。

　　比如說從第1024位元組開始下載，請求報文如下：

 

GET /image/index_r4_c1.jpg HTTP/1.1 Accept: */* Referer: http://192.168.3.120:8080 Accept-Language: zh-cn Accept-Encoding: gzip, deflate User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705) Host: 192.168.3.120:8080 Range:bytes=1024- Connection: Keep-Alive

.NET中的相關類

　　明白了上面的原理，那麼，我們來看看.NET FRAMEWORK中為我們提供了哪些類可以來做這些事。

　　完成HTTP請求

System.Net.HttpWebRequest

　　HttpWebRequest 類對 WebRequest 中定義的屬性和方法提供支援，也對使使用者能夠直接與使用 HTTP 的伺服器互動的附加屬性和方法提供支援。

　　HttpWebRequest 將發送到 Internet 資源的公用 HTTP 標題值公開為屬性，由方法或系統設定。下表包含完整列表。可以將 Headers 屬性中的其他標題設定為成對的名稱和數值。但是注意，某些公用標題被視為受限制的，它們或者直接由 API公開，或者受到系統保護，不能被更改。Range也屬於被保護之列，不過，.NET為開發人員提供了更方便的操作，就是 AddRange方法，向請求添加從請求資料的開始處或結束處的特定範圍的位元組範圍標題

　　完成檔案訪問

System.IO.FileStream

　　FileStream 對象支援使用Seek方法對檔案進行隨機訪問, Seek 允許將讀取/寫入位置移動到檔案中的任意位置。這是通過位元組位移參考點參數完成的。位元組位移量是相對於尋找參考點而言的，該參考點可以是基礎檔案的開始、當前位置或結尾，分別由SeekOrigin類的三個屬性工作表示。

　　代碼實現

　　瞭解了.NET提供的相關的類，那麼，我們就可以方便的實現了。

　　代碼如下：

static void Main(string[] args) { string StrFileName="c://aa.zip"; //根據實際情況設定 string StrUrl="http://www.xxxx.cn/xxxxx.zip"; //根據實際情況設定 //開啟上次下載的檔案或建立檔案 long lStartPos =0; System.IO.FileStream fs; if (System.IO.File.Exists(StrFileName)) { fs= System.IO.File.OpenWrite(StrFileName); lStartPos=fs.Length; fs.Seek(lStartPos,System.IO.SeekOrigin.Current); //移動檔案流中的當前指標 } else { fs = new System.IO.FileStream(StrFileName,System.IO.FileMode.Create); lStartPos =0; } //開啟網路連接 try { System.Net.HttpWebRequest request =(System.Net.HttpWebRequest)System.Net.HttpWebRequest.Create(StrUrl); if ( lStartPos>0) request.AddRange((int)lStartPos); //設定Range值 //向伺服器請求，獲得伺服器回應資料流 System.IO.Stream ns= request.GetResponse().GetResponseStream(); byte[] nbytes = new byte[512]; int nReadSize=0; nReadSize=ns.Read(nbytes,0,512); while( nReadSize >0) { fs.Write(nbytes,0,nReadSize); nReadSize=ns.Read(nbytes,0,512); } fs.Close(); ns.Close(); Console.WriteLine("下載完成"); } catch(Exception ex) { fs.Close(); Console.WriteLine("下載過程中出現錯誤:"+ex.ToString()); } }

[轉]用C#如何?大檔案的斷點上傳