C#遠程擷取/讀取網頁內容

標籤：blog   http   使用   os   io   檔案   資料   art   

轉載自 ：http://blog.csdn.net/gisfarmer/article/details/2836904

 

1. using System;
2. using System.Collections.Generic;
3. using System.Text;
4. using System.Net;
5. using System.IO;
6. namespace thief
7. {
8.     class Program
9.     {
10.         static void Main(string[] args)
11.         {
12.             
13.             try {
14.                 WebClient MyWebClient = new WebClient();
15.                 MyWebClient.Credentials = CredentialCache.DefaultCredentials;//擷取或設定用於對向Internet資源的請求進行身分識別驗證的網路憑據。
16.                 Byte[] pageData = MyWebClient.DownloadData(http://www.163.com); //從指定網站下載資料
17.                 string pageHtml = Encoding.Default.GetString(pageData);  //如果擷取網站頁面採用的是GB2312，則使用這句              
18.                 //string pageHtml = Encoding.UTF8.GetString(pageData); //如果擷取網站頁面採用的是UTF-8，則使用這句
19.                 Console.WriteLine(pageHtml);//在控制台輸入擷取的內容
20.                 using (StreamWriter sw = new StreamWriter("c://test//ouput.html"))//將擷取的內容寫入文本
21.                 {
22.                     sw.Write(pageHtml);
23.                 }
24.                 Console.ReadLine(); //讓控制台暫停,否則一閃而過了               
25.             }
26.             catch(WebException webEx) {
27.                 Console.WriteLine(webEx.Message.ToString());
28.             }
29.         }
30.     }
31. }

改進一下,加入定時器後

1. using System;
2. using System.Text;
3. using System.Timers;
4. using System.Net;
5. using System.IO;
7. //<summary>
8. //每隔5秒鐘將指定網頁的內容抓取下來,並以檔案形式儲存到c:/test目錄中
9. //</summary>
10. namespace TimerTest
11. {
12.     class Program
13.     {
14.         public static string outFileName = "";                  //產生的檔案名稱
15.         public static string myUrl = "http://bxg.cfchina.cn";    //要抓取的網頁
17.         static void Main(string[] args)
18.         {
19.             Timer mytimer = new Timer();
20.             mytimer.Elapsed +=new ElapsedEventHandler(GetUrl);//指定定時器的事件
21.             mytimer.Interval = 5000;//每隔5秒抓一次
22.             mytimer.Start();
23.             mytimer.Enabled = true;
24.             while (Console.Read() != ‘q‘) //直到按小寫字母q退出,否則一直抓取下去
25.             {
27.             }
28.         }
30.         //定時器事件內容
31.         static void GetUrl(object source, ElapsedEventArgs e)
32.         {
33.             try
34.             {
35.                 WebClient MyWebClient = new WebClient();
37.                 MyWebClient.Credentials = CredentialCache.DefaultCredentials;//擷取或設定用於對向Internet資源的請求進行身分識別驗證的網路憑據。
39.                 Byte[] pageData = MyWebClient.DownloadData(myUrl);//從指定網站下載資料
41.                 string pageHtml = Encoding.Default.GetString(pageData);  //如果擷取網站頁面採用的是GB2312，則使用這句              
43.                 //string pageHtml = Encoding.UTF8.GetString(pageData); //如果擷取網站頁面採用的是UTF-8，則使用這句
45.                 //Console.WriteLine(pageHtml);//在控制台輸入擷取的內容
47.                 outFileName = "C://test//" + DateTime.Now.ToString().Replace(" ", "").Replace(":", "").Replace("-", "") + ".html";
49.                 using (StreamWriter sw = new StreamWriter(outFileName))//將擷取的內容寫入文本
50.                 {
51.                     sw.Write(pageHtml);
52.                 }
54.                 Console.WriteLine(outFileName);  //輸出儲存後的檔案名稱                      
55.             }
57.             catch (WebException webEx)
58.             {
59.                 Console.WriteLine(webEx.Message.ToString());
60.             }
62.         }
64.     }
65. }