C# .net 抓取網頁內容

ASP.NET 中抓取網頁內容是非常方便的，而其中更是解決了 ASP 中困擾我們的編碼問題。

1、抓取一般內容

需要三個類：WebRequest、WebResponse、StreamReader

所需命名空間：System.Net、System.IO

核心代碼：

      WebRequest 類的 Create 為靜態方法，參數為要抓取的網頁的網址；

      Encoding 指定編碼，Encoding 中有屬性 ASCII、UTF32、UTF8 等全球通用的編碼，但沒有 gb2312 這個編碼屬性，所以我們使用 GetEncoding 獲得 gb2312 編碼。

private string GetGeneralContent(string strUrl)<br /> {<br /> string strMsg = string.Empty;<br /> try<br /> {<br /> WebRequest request = WebRequest.Create(strUrl);<br /> WebResponse response = request.GetResponse();<br /> StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));</p><p> strMsg = reader.ReadToEnd();</p><p> reader.Close();<br /> reader.Dispose();<br /> response.Close();<br /> }<br /> catch<br /> { }<br /> return strMsg;<br /> }

2、抓取圖片或其它二進位檔案（如檔案）

需要四個類：WebRequest、WebResponse、Stream、FileStream

所需命名空間：System.Net、System.IO

核心代碼：用Stream讀取

private string GetFileContent(string strUrl)<br /> {<br /> string strMsg = string.Empty;<br /> try<br /> {<br /> WebRequest request = WebRequest.Create(strUrl);<br /> WebResponse response = request.GetResponse();<br /> Stream reader = response.GetResponseStream(); </p><p> //可根據實際儲存為具體檔案<br /> FileStream writer = new FileStream("D:\\logo.gif", FileMode.OpenOrCreate, FileAccess.Write);<br /> byte[] buff = new byte[512];<br /> int c = 0; //實際讀取的位元組數<br /> while ((c=reader.Read(buff, 0, buff.Length)) > 0)<br /> {<br /> writer.Write(buff, 0, c);<br /> }<br /> writer.Close();<br /> writer.Dispose(); </p><p> reader.Close();<br /> reader.Dispose();<br /> response.Close();</p><p> strMsg = "儲存成功";<br /> }<br /> catch<br /> { }<br /> return strMsg;<br /> }

3、抓取網頁內容  POST方式

在抓取網頁時，有時候，需要將某些資料通過 Post 的方式發送到伺服器，將以下代碼添加在網頁抓取的程式中，以實現將使用者名稱和密碼 Post 到伺服器：

private string GetPostContent(string strUrl)<br /> {<br /> string strMsg = string.Empty;<br /> try<br /> {<br /> string data = "userName=admin&passwd=admin888";<br /> byte[] requestBuffer = System.Text.Encoding.GetEncoding("gb2312").GetBytes(data);</p><p> WebRequest request = WebRequest.Create(strUrl);<br /> request.Method = "POST";<br /> request.ContentType = "application/x-www-form-urlencoded";<br /> request.ContentLength = requestBuffer.Length;<br /> using (Stream requestStream = request.GetRequestStream())<br /> {<br /> requestStream.Write(requestBuffer, 0, requestBuffer.Length);<br /> requestStream.Close();<br /> }</p><p> WebResponse response = request.GetResponse();<br /> using (StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")))<br /> {<br /> strMsg = reader.ReadToEnd();<br /> reader.Close();<br /> }<br /> }<br /> catch<br /> { }<br /> return strMsg;<br /> }

 4、ASP.NET 抓取網頁內容－防止重新導向

 在抓取網頁時，成功登入伺服器應用系統後，應用系統可能會通過 Response.Redirect 將網頁進行重新導向，如果不需要響應這個重新導向，那麼，我們就不要把 reader.ReadToEnd() 給 Response.Write 出來，就可以了。

 5、ASP.NET 抓取網頁內容－保持登入狀態

 利用 Post 資料成功登入伺服器應用系統後，就可以抓取需要登入的頁面了，那麼我們就可能需要在多個 Request 間保持登入狀態。

首先，我們要使用 HttpWebRequest，而不是 WebRequest。

與 WebRequest 相比，變化的代碼是：

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(strUrl);

 注意：HttpWebRequest.Create 返回的類型仍是 WebRequest，所以要轉化一下。

其次，使用 CookieContainer。

System.Net.CookieContainer cc = new System.Net.CookieContainer();<br />request.CookieContainer = cc;<br />request2.CookieContainer = cc;

 這樣 request 和 request2 之間就使用了相同的 Session，如果 request 登入了，那麼 request2 也是登入狀態。

最後，如何在不同的頁面間使用同一個 CookieContainer。

要在不同的頁面間使用同一個 CookieContainer，只有把 CookieContainer 加入 Session。

Session.Add("ccc", cc); //存<br />CookieContainer cc = (CookieContainer)Session["ccc"]; //取

 如：

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(strUrl);</p><p> //同一頁面<br /> //HttpWebRequest request2 = (HttpWebRequest)HttpWebRequest.Create(strUrl);<br /> //System.Net.CookieContainer cc = new CookieContainer();<br /> //request.CookieContainer = cc;<br /> //request2.CookieContainer = cc;<br /> //不同頁面,具體使用時需要將request,request2分開<br /> object obj = Session["ccc"];<br /> if (obj == null)<br /> {<br /> CookieContainer cc = new CookieContainer();<br /> //requestr的儲存<br /> Session.Add("ccc", cc);<br /> }<br /> string strUrl2 = "";<br /> HttpWebRequest request2 = (HttpWebRequest)HttpWebRequest.Create(strUrl2);<br /> //取出來<br /> CookieContainer cc2 = (CookieContainer)Session["ccc"];<br /> request2.CookieContainer = cc2;<br /> //再進行下一步處理

 6、ASP.NET 抓取網頁內容－把當前會話帶到 WebRequest 中

 比如說瀏覽器 B1 去訪問伺服器端 S1，這會產生一個會話，而伺服器端 S2 再用 WebRequest 去訪問伺服器端 S1，這又會產生一個會話。現在的需求是讓 WebRequest 使用瀏覽器 B1 與 S1 之間的會話，也就是說要讓 S1 認為是 B1 在訪問 S1，而不是 S2 在訪問 S1。

這就要利用 Cookie 了，先在 S1 中取得與 B1 的 SessionID 的 Cookie，再將這個 Cookie 告訴 S2，S2 再將 Cookie 寫在 WebRequest 中。

  WebRequest request = WebRequest.Create("url");<br /> request.Headers.Add(HttpRequestHeader.Cookie, "ASPSESSIONIDSCATBTAD=KNNDKCNBONBOOBIHHHHAOKDM;");<br /> WebResponse response = request.GetResponse();<br /> StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));<br /> Response.Write(reader.ReadToEnd());<br /> reader.Close();<br /> reader.Dispose();<br /> response.Close();

要說明的是：

• 本文並不是 Cookie 欺騙，因為 SessionID 是 S1 告訴 S2 的，並不是 S2 竊取的，雖然有些古怪，但這可能在一些特定的應用系統中會有用。
• S1 必須要向 B1 寫 Session，這樣 SessionID 才會儲存到 Cookie 中，並且 SessionID 才會保持不變。
• 在 ASP.NET 中取 Cookie 用 Request.Cookies，本文假設 Cookie 已經取出來。
• 不同的伺服器端語言，SessionID 在 Cookie 中上名稱並不一樣，本文是 ASP 的 SessionID。
• S1 可能不僅僅依靠 SessionID 來判斷當前登入，它可能還會輔助於 Referer、User-Agent 等，這取決於 S1 端程式的設計。
• 其實本文算是本連載中“保持登入狀態”的另一種方法。

7、ASP.NET 抓取網頁內容－如何更改來源 Referer 和 UserAgent

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create("http://127.0.0.1/index.htm");<br />request.Referer = "http://www.csdn.net/";<br />request.UserAgent = "要設定的標題";<br />//下一步的處理

 源：http://www.cftea.com/c/2008/07/B0AUNSSUA1NQCVIF.asp