使用Regex提取網頁有效資訊

標籤：c   class   a   使用   html   htm   

從HTML頁面提取內容所面臨的主要問題是，我們必須尋找一種方法精確地識別出自己想要的那一部分內容。

以下是利用Regex匹配並提取網頁中特定資訊的方法：

採集網頁中所有連結標記：

<a[^>]*?>[\s\S]*?</a>

以上可以修改a標記採集對應的標記元素。

採集圖片：

<img[^>]*?/?>

以上可以修改img標記採集對應的標記元素。

<div[^>]*?id="idname"[^>]*?>[\s\S]*?</div>

根據 id與 class 取div段的內容，請以最小單位取div，因為嵌套關係會破壞，取出來的標記不匹配。

如果要匹配的話請使用下面的正則表式：

<(?<HtmlTag>div)[^>]*\sid=(?<Quote>["‘]?)idname(?(Quote)\k<Quote>)["‘]?[^>]*>((?<Nested><\k<HtmlTag>[^>]*>)|</\k<HtmlTag>>(?<-Nested>)|[\s\S]*?)*</\k<HtmlTag>>

對採集出來的html片段中連結地址去除：

<a(.[^>]*？)href(.[^>]*？)> 提取來替換成空。

再把</a>替換成空。