用C#編寫一個抓網頁的應用程式

來源:互聯網
上載者:User
程式|網頁 本文利用C#和.NET提供的類來輕鬆建立一個抓取網頁內容來源代碼的程式。HTTP是WWW進行資料訪問最基本的協議之一,在.NET的基本類型庫類中提供了兩個對象類:HTTPWebRequest和HTTPWebResponse,分別用來向某資源發送請求和獲得響應。為了得到一個資源的內容,我們先指定一個想要抓取的URL地址,用HTTPWebRequest對象進行請求,用HTTPWebResponse對象接收響應的結果,最後用TextStream對象來提取我們想要的資訊,並在控制台列印出來。
下面就是看看如何?這樣的功能:
第一步:開啟VS.NET,點“檔案”-“建立”-“項目”,項目類型選擇“Visual C#項目”,模板選“Windows應用程式”,如下圖所示:


第二步:在Form1裡加入Label1,Button1,TextBox1,TextBox2四個控制項,TextBox2的Multiline屬性改為True,如下圖所示:


第三步:在Form1表單上點擊右鍵,選“查看代碼”,然後在最頂端輸入:

using System.IO;
using System.Net;
using System.Text;

private void button1_Click(object sender, System.EventArgs e)
{

}
的括弧之間輸入下面的代碼:

byte[] buf = new byte[38192];
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(textBox1.Text);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream resStream = response.GetResponseStream();
int count = resStream.Read(buf, 0, buf.Length);
textBox2.Text = Encoding.Default.GetString(buf, 0, count);
resStream.Close();

第四步:點“Save all”按鈕,按“F5”運行應用程式,在“請輸入URL地址:”後面的單行文字框裡輸入http://lucky.myrice.com/down.htm,點擊“得到 HTML 程式碼”按鈕,就可以看到該地址的代碼了!結果如下所示:


下面,我們就對上面的程式做一個分析:
上面的這個程式的功能是抓取網頁http://lucky.myrice.com/down.htm的內容,並在多行文字框裡顯示出HTML代碼,由於返回的資料是位元組類型的,因此,我們建立一個名為buf的位元組類型的陣列變數來儲存請求返回來的結果,其中數組的大小與我們要請求返回的資料大小有關係。首先,我們執行個體化HttpWebRequest對象,使用WebRequest類的靜態方法Create(),該方法的字串參數就是我們要請求頁面的URL地址,由於Create()方法返回的是WebRequest類型的,我們必須對它進行造型(即類型轉換)成HttpWebRequest類型,再賦給request變數。一旦我們建立了HttpWebRequest對象,就可以使用它的GetResponse()方法來返回一個WebResponse對象,然後再造型成HttpWebResponse對象賦給response變數。現在,就可以使用response對象的GetResponseStream()方法來得到響應的文字資料流了,最後用Stream對象的Read()方法把返回的響應資訊放到我們最初建立的位元組數組buf中,Read()有3個參數,分別是:要放入的位元組數組,位元組數組的開始位置,位元組數組的長度。最後把位元組轉換成字串,注意:這裡採用的採用的是Default編碼,它使用預設的編碼方式,我們就不用再進行字元編碼之間的轉換了。
也可以利用WebRequest和WebResponse實現以上的功能,代碼如下:

WebRequest request = WebRequest.Create(textBox1.Text);
WebResponse response = request.GetResponse();

輸入其它的URL看看是不是很方便!

相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。