使用WebClient製作一下簡單的採集器

輸入url把網頁內容抓下來，然後再加工處理，儲存到資料庫中，這應該是採集器的原理。
如果要使用C#做的話，就要用WebClient類了。

大氣象

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;

using System.Net;

namespace FirstWebClient
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            WebClient _client = new WebClient();
            _client.BaseAddress = "http://www.cnblogs.com";
            _client.Headers.Add("Accept", "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*");
            _client.Headers.Add("Accept-Language", "zh-cn");
            _client.Headers.Add("UA-CPU", "x86");
            //_client.Headers.Add("Accept-Encoding","gzip, deflate");
            _client.Headers.Add("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");
            System.IO.Stream objStream = _client.OpenRead("/");
            System.IO.StreamReader _read = new System.IO.StreamReader(objStream, System.Text.Encoding.UTF8);
            textBox1.Text = _read.ReadToEnd();
        }
    }
}

 

參考：http://www.cnblogs.com/titi/archive/2005/11/20/280914.html