使用java的HttpClient實現多線程並發_java

說明：以下的代碼基於httpclient4.5.2實現。

我們要使用java的HttpClient實現get請求抓取網頁是一件比較容易實現的工作：

  public static String get(String url) {    CloseableHttpResponseresponse = null;    BufferedReader in = null;    String result = "";    try {      CloseableHttpClienthttpclient = HttpClients.createDefault();      HttpGethttpGet = new HttpGet(url);      response = httpclient.execute(httpGet);       in = new BufferedReader(new InputStreamReader(response.getEntity().getContent()));      StringBuffersb = new StringBuffer("");      String line = "";      String NL = System.getProperty("line.separator");      while ((line = in.readLine()) != null) {        sb.append(line + NL);      }      in.close();      result = sb.toString();    } catch (IOException e) {      e.printStackTrace();    } finally {      try {        if (null != response) response.close();      } catch (IOException e) {        e.printStackTrace();      }    }    return result;  }

要多線程執行get請求時上面的方法也堪用。不過這種多線程請求是基於在每次調用get方法時建立一個HttpClient執行個體實現的。每個HttpClient執行個體使用一次即被回收。這顯然不是一種最優的實現。

HttpClient提供了多線程請求方案，可以查看官方文檔的《 Pooling connection manager 》這一節。HttpCLient實現多線程請求是基於內建的串連池實現的，其中有一個關鍵的類即PoolingHttpClientConnectionManager，這個類負責管理HttpClient串連池。在PoolingHttpClientConnectionManager中提供了兩個關鍵的方法：setMaxTotal和setDefaultMaxPerRoute。setMaxTotal設定串連池的最大串連數，setDefaultMaxPerRoute設定每個路由上的預設串連個數。此外還有一個方法setMaxPerRoute——單獨為某個網站設定最大串連個數，像這樣：

   HttpHosthost = new HttpHost("locahost", 80);   cm.setMaxPerRoute(new HttpRoute(host), 50);

根據文檔稍稍調整下我們的get請求實現：

package com.zhyea.robin; import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.http.client.methods.HttpGet;import org.apache.http.impl.client.CloseableHttpClient;import org.apache.http.impl.client.HttpClients;import org.apache.http.impl.conn.PoolingHttpClientConnectionManager; import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader; public class HttpUtil {   private static CloseableHttpClienthttpClient;   static {    PoolingHttpClientConnectionManagercm = new PoolingHttpClientConnectionManager();    cm.setMaxTotal(200);    cm.setDefaultMaxPerRoute(20);    cm.setDefaultMaxPerRoute(50);    httpClient = HttpClients.custom().setConnectionManager(cm).build();  }   public static String get(String url) {    CloseableHttpResponseresponse = null;    BufferedReaderin = null;    String result = "";    try {       HttpGethttpGet = new HttpGet(url);      response = httpClient.execute(httpGet);       in = new BufferedReader(new InputStreamReader(response.getEntity().getContent()));      StringBuffersb = new StringBuffer("");      String line = "";      String NL = System.getProperty("line.separator");      while ((line = in.readLine()) != null) {        sb.append(line + NL);      }      in.close();      result = sb.toString();    } catch (IOException e) {      e.printStackTrace();    } finally {      try {        if (null != response) response.close();      } catch (IOException e) {        e.printStackTrace();      }    }    return result;  }   public static void main(String[] args) {    System.out.println(get("https://www.baidu.com/"));  }}

這樣就差不多了。不過對於我自己而言，我更喜歡httpclient的fluent實現，比如我們剛才實現的http get請求完全可以這樣簡單的實現：

package com.zhyea.robin; import org.apache.http.client.fluent.Request;import java.io.IOException; public class HttpUtil {   public static String get(String url) {    String result = "";    try {      result = Request.Get(url)          .connectTimeout(1000)          .socketTimeout(1000)          .execute().returnContent().asString();    } catch (IOException e) {      e.printStackTrace();    }    return result;  }   public static void main(String[] args) {    System.out.println(get("https://www.baidu.com/"));  }}

我們要做的只是將以前的httpclient依賴替換為fluent-hc依賴：

<dependency>   <groupId>org.apache.httpcomponents</groupId>   <artifactId>fluent-hc</artifactId>   <version>4.5.2</version></dependency>

並且這個fluent實現天然就是採用PoolingHttpClientConnectionManager完成的。它設定的maxTotal和defaultMaxPerRoute的值分別是200和100：

    CONNMGR = new PoolingHttpClientConnectionManager(sfr);    CONNMGR.setDefaultMaxPerRoute(100);    CONNMGR.setMaxTotal(200);

唯一一點讓人不爽的就是Executor沒有提供調整這兩個值的方法。不過這也完全夠用了，實在不行的話，還可以考慮重寫Executor方法，然後直接使用Executor執行get請求：

Executor.newInstance().execute(Request.Get(url))        .returnContent().asString();

就這樣！