ASP.NET 網頁抓取—–抓取超連結

 這裡通過一個TextBox接收輸入的網址，可以抓取出網頁所有的超連結，主要代碼如下： string http = TxtHttp.Text.ToString();//目標網頁網址</p><p> System.Net.WebRequest request = System.Net.WebRequest.Create(http);<br /> System.IO.StreamReader sr = new System.IO.StreamReader(request.GetResponse().GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));<br /> ArrayList list = new ArrayList();<br /> if (sr != null)<br /> {<br /> string html = sr.ReadToEnd();<br /> // 關鍵是正則，要找到目標網頁源碼的規律，總結出正則的寫法<br /> // 各個大的搜尋引擎派出的搜尋機器人就是通過這種方式來抓取網頁快照<br /> System.Text.RegularExpressions.MatchCollection mc = System.Text.RegularExpressions.Regex.Matches(html, @"<a/s+href/s*=/s*[""|']?(?<uri>[^""' ]*)[""|']?[^<>]*>/s*(<[^<>]+>)*(?<title>[^<>]*)(<[^<>]+>)*/s*</a>");<br /> for (int i = 0; i < mc.Count; i++)<br /> {<br /> list.Add(mc[i].Value.ToString());//將找到的匹配的項添加到ArrayList<br /> }<br /> foreach (string str in list)<br /> {<br /> Response.Write(str + "<br/>");<br /> }<br /> sr.Close();<br /> }

我個人認為這裡最主要的是Regex，不同的Regex可以抓取到不同的內容。