Java網路爬蟲

Java網路爬蟲的實現

記得在剛找工作時，隔壁的一位同學在面試時豪言壯語曾實現過網路爬蟲，當時的景仰之情猶如滔滔江水連綿不絕。後來，在做圖片搜尋時，需要大量的測試圖片，因此萌生了從Amazon中爬取圖書封面圖片的想法，從網上也吸取了一些前人的經驗，實現了一個簡單但足夠用的爬蟲系統。

AD：

記得在剛找工作時，隔壁的一位同學在面試時豪言壯語曾實現過網路爬蟲，當時的景仰之情猶如滔滔江水連綿不絕。後來，在做圖片搜尋時，需要大量的測試圖片，因此萌生了從Amazon中爬取圖書封面圖片的想法，從網上也吸取了一些前人的經驗，實現了一個簡單但足夠用的爬蟲系統。

網路爬蟲是一個自動提取網頁的程式，它為搜尋引擎從全球資訊網上下載網頁，是搜尋引擎的重要組成，其基本架構如所示：

傳統爬蟲從一個或若干初始頁面的URL開始，獲得初始頁面上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。對於垂直搜尋來說，聚焦爬蟲，即有針對性地爬取特定主題網頁的爬蟲，更為適合。

本文爬蟲程式的核心代碼如下：

Java代碼

 

  
public void crawl() throws Throwable {     
  
    while (continueCrawling()) {     
  
        CrawlerUrl url = getNextUrl(); //擷取待爬取隊列中的下一個URL     
  
        if (url != null) {     
  
            printCrawlInfo();      
  
            String content = getContent(url); //擷取URL的文本資訊     
  
                 
  
            //聚焦爬蟲只爬取與主題內容相關的網頁，這裡採用正則匹配簡單處理     
  
            if (isContentRelevant(content, this.regexpSearchPattern)) {     
  
                saveContent(url, content); //儲存網頁至本地     
  
    
  
                //擷取網頁內容中的連結，並放入待爬取隊列中     
  
                Collection urlStrings = extractUrls(content, url);     
  
                addUrlsToUrlQueue(url, urlStrings);     
  
            } else {     
  
                System.out.println(url + " is not relevant ignoring ...");     
  
            }     
  
    
  
            //延時防止被對方屏蔽     
  
            Thread.sleep(this.delayBetweenUrls);     
  
        }     
  
    }     
  
    closeOutputStream();     
  
}    
 

整個函數由getNextUrl、getContent、isContentRelevant、extractUrls、addUrlsToUrlQueue等幾個核心方法組成，下面將一一介紹。先看getNextUrl：

Java代碼

 

  
private CrawlerUrl getNextUrl() throws Throwable {     
  
    CrawlerUrl nextUrl = null;     
  
    while ((nextUrl == null) && (!urlQueue.isEmpty())) {     
  
        CrawlerUrl crawlerUrl = this.urlQueue.remove();     
  
                    
  
        //doWeHavePermissionToVisit：是否有許可權訪問該URL，友好的爬蟲會根據網站提供的"Robot.txt"中配置的規則進行爬取     
  
        //isUrlAlreadyVisited：URL是否訪問過，大型的搜尋引擎往往採用BloomFilter進行排重，這裡簡單使用HashMap     
  
        //isDepthAcceptable：是否達到指定的深度上限。爬蟲一般採取廣度優先的方式。一些網站會構建爬蟲陷阱（自動產生一些無效連結使爬蟲陷入死迴圈），採用深度限制加以避免     
  
        if (doWeHavePermissionToVisit(crawlerUrl)     
  
            && (!isUrlAlreadyVisited(crawlerUrl))      
  
            && isDepthAcceptable(crawlerUrl)) {     
  
            nextUrl = crawlerUrl;     
  
            // System.out.println("Next url to be visited is " + nextUrl);     
  
        }     
  
    }     
  
    return nextUrl;     
  
}   
 

更多的關於robot.txt的具體寫法，可參考以下這篇文章：

http://www.bloghuman.com/post/67/

getContent內部使用apache的httpclient 4.1擷取網頁內容，具體代碼如下：

Java代碼

 

  
private String getContent(CrawlerUrl url) throws Throwable {     
  
    //HttpClient4.1的調用與之前的方式不同     
  
    HttpClient client = new DefaultHttpClient();     
  
    HttpGet httpGet = new HttpGet(url.getUrlString());     
  
    StringBuffer strBuf = new StringBuffer();     
  
    HttpResponse response = client.execute(httpGet);     
  
    if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) {     
  
        HttpEntity entity = response.getEntity();     
  
        if (entity != null) {     
  
            BufferedReader reader = new BufferedReader(     
  
                new InputStreamReader(entity.getContent(), "UTF-8"));     
  
            String line = null;     
  
            if (entity.getContentLength() > 0) {     
  
                strBuf = new StringBuffer((int) entity.getContentLength());     
  
                while ((line = reader.readLine()) != null) {     
  
                    strBuf.append(line);     
  
                }     
  
            }     
  
        }     
  
        if (entity != null) {     
  
            entity.consumeContent();     
  
        }     
  
    }     
  
    //將url標記為已訪問     
  
    markUrlAsVisited(url);     
  
    return strBuf.toString();     
  
}    
 

對於垂直型應用來說，資料的準確性往往更為重要。聚焦型爬蟲的主要特點是，只收集和主題相關的資料，這就是isContentRelevant方法的作用。這裡或許要使用分類預測技術，為簡單起見，採用正則匹配來代替。其主要代碼如下：

Java代碼

 

  
public static boolean isContentRelevant(String content,     
  
Pattern regexpPattern) {     
  
    boolean retValue = false;     
  
    if (content != null) {     
  
        //是否符合Regex的條件     
  
        Matcher m = regexpPattern.matcher(content.toLowerCase());     
  
        retValue = m.find();     
  
    }     
  
    return retValue;     
  
}    
 

extractUrls的主要作用，是從網頁中擷取更多的URL，包括內部連結和外部連結，代碼如下：

Java代碼

 

  
public List extractUrls(String text, CrawlerUrl crawlerUrl) {     
  
    Map urlMap = new HashMap();     
  
    extractHttpUrls(urlMap, text);     
  
    extractRelativeUrls(urlMap, text, crawlerUrl);     
  
    return new ArrayList(urlMap.keySet());     
  
}     
  
    
  
//處理外部連結     
  
private void extractHttpUrls(Map urlMap, String text) {     
  
    Matcher m = httpRegexp.matcher(text);     
  
    while (m.find()) {     
  
        String url = m.group();     
  
        String[] terms = url.split("a href=\"");     
  
        for (String term : terms) {     
  
            // System.out.println("Term = " + term);     
  
            if (term.startsWith("http")) {     
  
                int index = term.indexOf("\"");     
  
                if (index > 0) {     
  
                    term = term.substring(0, index);     
  
                }     
  
                urlMap.put(term, term);     
  
                System.out.println("Hyperlink: " + term);     
  
            }     
  
        }     
  
    }     
  
}     
  
    
  
//處理內部連結     
  
private void extractRelativeUrls(Map urlMap, String text,     
  
        CrawlerUrl crawlerUrl) {     
  
    Matcher m = relativeRegexp.matcher(text);     
  
    URL textURL = crawlerUrl.getURL();     
  
    String host = textURL.getHost();     
  
    while (m.find()) {     
  
        String url = m.group();     
  
        String[] terms = url.split("a href=\"");     
  
        for (String term : terms) {     
  
            if (term.startsWith("/")) {     
  
                int index = term.indexOf("\"");     
  
                if (index > 0) {     
  
                    term = term.substring(0, index);     
  
                }     
  
                String s = "http://" + host + term;     
  
                urlMap.put(s, s);     
  
                System.out.println("Relative url: " + s);     
  
            }     
  
        }     
  
    }     
  
    
  
}    
 

如此，便構建了一個簡單的網路爬蟲程式，可以使用以下程式來測試它：

Java代碼

 

  
public static void main(String[] args) {     
  
    try {     
  
        String url = "http://www.amazon.com";     
  
        Queue urlQueue = new LinkedList();     
  
        String regexp = "java";     
  
        urlQueue.add(new CrawlerUrl(url, 0));     
  
        NaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L,     
  
                regexp);     
  
        // boolean allowCrawl = crawler.areWeAllowedToVisit(url);     
  
        // System.out.println("Allowed to crawl: " + url + " " +     
  
        // allowCrawl);     
  
        crawler.crawl();     
  
    } catch (Throwable t) {     
  
        System.out.println(t.toString());     
  
        t.printStackTrace();     
  
    }     
  
}    
 

當然，你可以為它賦予更為進階的功能，比如多線程、更智能的聚焦、結合Lucene建立索引等等。更為複雜的情況，可以考慮使用一些開源的蜘蛛程式，比如Nutch或是Heritrix等等，就不在本文的討論範圍了。

轉載：http://developer.51cto.com/art/201103/248141.htm