java爬蟲理解

標籤：

1、下載（頁面html），要求標頭（如user-agent）處理，重新導向，逾時，代理，重試策略等

    1)使用jdk中的URL實現

    HttpURLConnection con = URL.openConnection()

    2)使用apache項目hc實現http://hc.apache.org/

    HttpResponse response = HttpClient.execute(HttpRequest)

2、解析（待爬連結 + 結構化資料）

    1)正則，Pattern類

    2)jsoup，http://www.oschina.net/p/jsoup，http://jsoup.org/

    3)xpath，http://www.w3school.com.cn/xpath/index.asp

3、儲存（原始html + 結構化資料）

    1)檔案系統，用於檢索（Lucene，Hadoop）

    2)資料庫

    3)URL分值？

4、調度

    1)待爬url優先順序

    2)去重

    3)並發

    4)分布式

java爬蟲理解