ASP.NET大檔案上傳的問題

1、解決方案：

.NET大檔案上傳知識整理

最近做在做ePartner項目，涉及到檔案上傳的問題。 以前也做過檔案上傳，但都是些小檔案，不超過2M。 這次要求上傳100M以上的東西。沒辦法找來資料研究了一下。基於WEB的檔案上傳可以使用FTP和HTTP兩種協議，用FTP的話雖然傳輸穩定，但安全性是個嚴重的問題，而且FTP伺服器讀使用者庫擷取許可權，這樣對於使用者使用來說還是不太方便。剩下只有HTTP。在HTTP中有3種方式，PUT、WEBDAV、RFC1867，前2種方法不適合大檔案上傳，目前我們使用的web上傳都是基於 RFC1867標準的HTML中基於表單的檔案上傳。

一、先簡要介紹一下RFC1867（Form-based File Upload in HTML）標準：
1．帶有檔案提交功能的HTML表單
現有的HTML規範為INPUT元素的TYPE屬性定義了八種可能的值，分別是：CHECKBOX, HIDDEN, IMAGE, PASSWORD, RADIO, RESET, SUBMIT, TEXT. 另外，當表單採用POST方式的時候，表單預設的具有"application/x-www-form-urlencoded" 的ENCTYPE屬性。

RFC1867標準對HTML做出了兩處修改：
1）為INPUT元素的TYPE屬性增加了一個FILE選項。
2）INPUT標記可以具有ACCEPT屬性，該屬效能夠指定可被上傳的檔案類型或檔案格式列表。

另外，本標準還定義了一種新的MIME類型：multipart/form-data，以及當處理一個帶有ENCTYPE="multipart/form-data" 並且/或含有的標記的表單時所應該採取的行為。

舉例來說，當HTML表單作者想讓使用者能夠上傳一個或更多的檔案時，他可以這麼寫：

使用者在“姓名”欄位裡面填寫"Joe Blow"，對問題'What files are you sending?'，使用者選擇
了一個文字檔"file1.txt"。
客戶段可能發送回如下的資料：
Content-type: multipart/form-data, boundary=AaB03x

--AaB03x
content-disposition: form-data; name="field1"

Joe Blow
--AaB03x
content-disposition: form-data; name="pics"; filename="file1.txt"
Content-Type: text/plain

... file1.txt 的內容...
--AaB03x--
如果使用者同時還選擇了另一個圖片檔案"file2.gif"，那麼用戶端可能發送的資料將是：
Content-type: multipart/form-data, boundary=AaB03x

--AaB03x
content-disposition: form-data; name="field1"

Joe Blow
--AaB03x
content-disposition: form-data; name="pics"
Content-type: multipart/mixed, boundary=BbC04y

--BbC04y
Content-disposition: attachment; filename="file1.txt"

Content-Type: text/plain

... file1.txt 的內容...
--BbC04y
Content-disposition: attachment; filename="file2.gif"
Content-type: image/gif
Content-Transfer-Encoding: binary

... file2.gif的內容...
--BbC04y--
--AaB03x--

二、利用RFC1867標準處理檔案上傳的兩種方式：
1．一次性得到上傳的資料，然後分析處理。
看了N多代碼之後發現，目前無組件程式和一些COM組件都是使用Request.BinaryRead方法。一次性得到上傳的資料，然後分析處理。這就是為什麼上傳大檔案很慢的原因了，IIS逾時不說，就算幾百M檔案上去了，分析處理也得一陣子。
2．一邊接收檔案，一邊寫硬碟。

瞭解了一下國外的商業組件，比較流行的有Power-Web，AspUpload,ActiveFile,ABCUpload, aspSmartUpload,SA-FileUp。其中比較優秀的是ASPUPLOAD和SA-FILE，他們號稱可以處理2G的檔案(SA-FILE EE版甚至沒有檔案大小的限制)，而且效率也是非常棒，難道程式設計語言的效率差這麼多?查了一些資料,覺得他們都是直接操作檔案流。這樣就不受檔案大小的制約。但老外的東西也不是絕對完美，ASPUPLOAD處理大檔案後,記憶體佔用情況驚人。1G左右都是稀鬆平常。至於SA-FILE雖然是好東西但是破解難尋。然後發現2款.NET上傳組件，Lion.Web.UpLoadModule和AspnetUpload也是操作檔案流。但是上傳速度和CPU佔用率都不如老外的商業組件。
做了個測試，LAN內傳1G的檔案。ASPUPLOAD上傳速度平均是4.4M/s，CPU佔用10-15，記憶體佔用 700M。SA-FILE也差不多這樣。而AspnetUpload最快也只有1.5M/s，平均是700K/s，CPU佔用15-39，測試環境: PIII800,256M記憶體,100M LAN。我想AspnetUpload速度慢是可能因為一邊接收檔案，一邊寫硬碟。資源佔用低的代價就是降低傳輸速度。但也不得不佩服老外的程式，CPU 佔用如此之低.....

三、ASP.NET上傳檔案遇到的問題
我們在用ASP.NET上傳大檔案時都遇到過這樣或那樣的問題。設定很大的maxRequestLength值並不能完全解決問題，因為ASP.NET會block直到把整個檔案載入記憶體後，再加以處理。實際上，如果檔案很大的話，我們經常會見到Internet Explorer顯示 "The page cannot be displayed - Cannot find server or DNS Error"，好像是怎麼也catch不了這個錯誤。為什嗎？因為這是個client side錯誤，server side端的Application_Error是處理不到的。
四、ASP.NET大檔案上傳解決方案
解決的方法是利用隱含的HttpWorkerRequest，用它的GetPreloadedEntityBody 和 ReadEntityBody方法從IIS為ASP.NET建立的pipe裡分塊讀取資料。Chris Hynes為我們提供了這樣的一個方案(用HttpModule)，該方案除了允許你上傳大檔案外，還能即時顯示上傳進度。
Lion.Web.UpLoadModule和AspnetUpload 兩個.NET組件都是利用的這個方案。

方案原理：
利用HttpHandler實現了類似於ISAPI Extention的功能，處理請求(Request)的資訊和發送響應(Response)。

方案要點：
1． httpHandler or HttpModule
a.在asp.net進程處理request請求之前截獲request對象
b.分塊讀取和寫入資料
c.即時跟蹤上傳進度更新meta資訊
2． 利用隱含的HttpWorkerRequest用它的GetPreloadedEntityBody 和 ReadEntityBody方法處理檔案流
IServiceProvider provider = (IServiceProvider) HttpContext.Current;
HttpWorkerRequest wr = (HttpWorkerRequest) provider.GetService(typeof(HttpWorkerRequest));
byte[] bs = wr.GetPreloadedEntityBody();
....
if (!wr.IsEntireEntityBodyIsPreloaded())
{
int n = 1024;
byte[] bs2 = new byte;
while (wr.ReadEntityBody(bs2,n) >0)
{
.....
}
}
3． 自訂Multipart MIME 解析器
自動截獲MIME分割符
將檔案分塊寫如臨時檔案
即時更新Appliaction 狀態（ReceivingData, Error, Complete）

/例子
HttpApplication application1 = sender as HttpApplication;
HttpWorkerRequest request1 = (HttpWorkerRequest) ((IServiceProvider) HttpContext.Current).GetService(typeof(HttpWorkerRequest));
try
{
if (application1.Context.Request.ContentType.IndexOf("multipart/form-data") <= -1)
{
return;
}
//Check The HasEntityBody
if (!request1.HasEntityBody())
{
return;
}
int num1 = 0;
TimeSpan span1 = DateTime.Now.Subtract(this.beginTime);

string text1 = application1.Context.Request.ContentType.ToLower();

byte[] buffer1 = Encoding.ASCII.GetBytes(("\r\n--" + text1.Substring(text1.IndexOf("boundary=") + 9)).ToCharArray());
int num2 = Convert.ToInt32(request1.GetKnownRequestHeader(11));
Progress progress1 = new Progress();

application1.Context.Items.Add("FileList", new Hashtable());

byte[] buffer2 = request1.GetPreloadedEntityBody();
num1 += buffer2.Length;

string text2 = this.AnalysePreloadedEntityBody(buffer2, "UploadGUID");
if (text2 != string.Empty)
{
application1.Context.Items.Add("LionSky_UpLoadModule_UploadGUID", text2);
}
bool flag1 = true;
if ((num2 > this.UpLoadFileLength()) && ((0 > span1.TotalHours) || (span1.TotalHours > 3)))
{
flag1 = false;
}
if ((0 > span1.TotalHours) || (span1.TotalHours > 3))
{
flag1 = false;
}
string text3 = this.AnalysePreloadedEntityBody(buffer2, "UploadFolder");
ArrayList list1 = new ArrayList();
RequestStream stream1 = new RequestStream(buffer2, buffer1, null, RequestStream.FileStatus.Close, RequestStream.ReadStatus.NoRead, text3, flag1, application1.Context, string.Empty);
list1.AddRange(stream1.ReadBody);
if (text2 != string.Empty)
{
progress1.FileLength = num2;
progress1.ReceivedLength = num1;
progress1.FileName = stream1.OriginalFileName;
progress1.FileCount = ((Hashtable) application1.Context.Items["FileList"]).Count;
application1.Application["_UploadGUID_" + text2] = progress1;
}

if (!request1.IsEntireEntityBodyIsPreloaded())
{
byte[] buffer4;
ArrayList list2;
int num3 = 204800;
byte[] buffer3 = new byte[num3];
while ((num2 - num1) >= num3)
{
if (!application1.Context.Response.IsClientConnected)
{
this.ClearApplication(application1);
}
num3 = request1.ReadEntityBody(buffer3, buffer3.Length);
num1 += num3;
list2 = stream1.ContentBody;
if (list2.Count > 0)
{
buffer4 = new byte[list2.Count + buffer3.Length];
list2.CopyTo(buffer4, 0);
buffer3.CopyTo(buffer4, list2.Count);
stream1 = new RequestStream(buffer4, buffer1, stream1.FileStream, stream1.FStatus, stream1.RStatus, text3, flag1, application1.Context, stream1.OriginalFileName);
}
else
{
stream1 = new RequestStream(buffer3, buffer1, stream1.FileStream, stream1.FStatus, stream1.RStatus, text3, flag1, application1.Context, stream1.OriginalFileName);
}
list1.AddRange(stream1.ReadBody);
if (text2 != string.Empty)
{
progress1.ReceivedLength = num1;
progress1.FileName = stream1.OriginalFileName;
progress1.FileCount = ((Hashtable) application1.Context.Items["FileList"]).Count;
application1.Application["_UploadGUID_" + text2] = progress1;
}
}
buffer3 = new byte[num2 - num1];
if (!application1.Context.Response.IsClientConnected && (stream1.FStatus == RequestStream.FileStatus.Open))
{
this.ClearApplication(application1);
}
num3 = request1.ReadEntityBody(buffer3, buffer3.Length);
list2 = stream1.ContentBody;
if (list2.Count > 0)
{
buffer4 = new byte[list2.Count + buffer3.Length];
list2.CopyTo(buffer4, 0);
buffer3.CopyTo(buffer4, list2.Count);
stream1 = new RequestStream(buffer4, buffer1, stream1.FileStream, stream1.FStatus, stream1.RStatus, text3, flag1, application1.Context, stream1.OriginalFileName);
}
else
{
stream1 = new RequestStream(buffer3, buffer1, stream1.FileStream, stream1.FStatus, stream1.RStatus, text3, flag1, application1.Context, stream1.OriginalFileName);
}
list1.AddRange(stream1.ReadBody);
if (text2 != string.Empty)
{
progress1.ReceivedLength = num1 + buffer3.Length;
progress1.FileName = stream1.OriginalFileName;
progress1.FileCount = ((Hashtable) application1.Context.Items["FileList"]).Count;
if (flag1)
{
progress1.UploadStatus = Progress.UploadStatusEnum.Uploaded;
}
else
{
application1.Application.Remove("_UploadGUID_" + text2);
}
}
}
byte[] buffer5 = new byte[list1.Count];
list1.CopyTo(buffer5);
this.PopulateRequestData(request1, buffer5);
}
catch (Exception exception1)
{
this.ClearApplication(application1);
throw exception1;
}