使用ScrapySharp快速從網頁中採集資料

標籤：title   url   參考手冊   ima   表單提交   基於   支援   static   提交   

轉自原文 使用ScrapySharp快速從網頁中採集資料

 

ScrapySharp是一個協助我們快速實現網頁資料擷取的庫，它主要提供了如下兩個功能

1. 從Url擷取Html資料
2. 提供CSS選取器的方式解析Html節點

安裝：

ScrapySharp可以直接從Nuget上下載，直接從Package Console裡面輸入如下命令即可：

PM> Install-Package ScrapySharp

Html下載

首先我們來看看它的Html下載功能，它是通過ScrapingBrowser類來實現的：

    var browser = new ScrapingBrowser();
    var html = browser.DownloadString(newUri("http://www.cnblogs.com/"));

這個只是一個簡單的樣本，實際上ScrapingBrowser的功能還是非常全面的，常見的功能如：Charset探測，AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表單提交等都支援得非常好，用它來擷取網頁比HttClient要方便很多。

Html解析

ScrapySharp的Html解析是基於大名鼎鼎的HtmlAgilityPack來實現的，它主要提供了兩個擴充函數CssSelect和CssSelect：

    staticIEnumerable<HtmlNode> CssSelect(thisHtmlNode node, string expression);
    staticIEnumerable<HtmlNode> CssSelect(thisIEnumerable<HtmlNode> nodes, string expression);
    staticIEnumerable<HtmlNode> CssSelectAncestors(thisHtmlNode node, string expression);
    staticIEnumerable<HtmlNode> CssSelectAncestors(thisIEnumerable<HtmlNode> nodes, string expression);

相比HtmlAgilityPack提供的層級式解析和Xpath方式的解析比起來，CSS選取器的更為簡單快捷，這裡以解析部落格園的首網頁標題為例，首先用開發人員工具定位標題，可以看到其HTML結構的方式如下：

解析的代碼如下：

    var doc = newHtmlDocument();
    doc.LoadHtml(html);

    var docNode = doc.DocumentNode;

    var nodes = docNode.CssSelect(".titlelnk");
    foreach (var htmlNode in nodes)
    {
        Console.WriteLine(htmlNode.InnerText);
    }

其中關鍵代碼只有docNode.CssSelect(".titlelnk")一句，非常簡潔。另外，由於CSS方式比較靈活，如下方式也能擷取到標題

    var nodes = docNode.CssSelect(".post_item_body > h3");
    var nodes = docNode.CssSelect("div#post_list").CssSelectAncestors("h3");

最後，列舉一下常用的CSS查詢，以方便後續的使用：

    html.CssSelect("div"); //all div elements
    html.CssSelect("div.content"); //all div elements with css class ‘content‘
    html.CssSelect("div.widget.monthlist"); //all div elements with the both css class
    html.CssSelect("#postPaging"); //all HTML elements with the id postPaging
    html.CssSelect("div#postPaging.testClass");     // all HTML elements with the id postPaging and css class testClass
    html.CssSelect("div.content > p.para");     //p elements who are direct children of div elements with css class ‘content‘
    html.CssSelect("input[type = text].login");     // textbox with css class login

更多的CSS選取器使用方法可以參看W3的網頁：CSS 選取器參考手冊

使用ScrapySharp快速從網頁中採集資料