android使用Jsoup 抓取頁面的資料_Android

來源:互聯網
上載者:User

jsoup 是一款Java 的HTML解析器,可直接解析某個URL地址、HTML常值內容。它提供了一套非常省力的API,可通過DOM,CSS以及類似於jQuery的操作方法來取出和操作資料。

Jsoup的官方中文地址:http://www.open-open.com/jsoup/parse-document-from-string.htm
在這個網站上你可以找到一些說明,.jar檔案的下載,doc文檔的說明等等 

jsoup的主要功能如下:

  1. 從一個URL,檔案或字串中解析HTML;
  2. 使用DOM或CSS選取器來尋找、取出資料;
  3.  可操作HTML元素、屬性、文本;

jsoup是基於MIT協議發布的,可放心使用於商業項目。

Jsoup類下面的方法都是靜態可直接調用。幾個方法的說明  

Connect()方法,獲得一個Connection,然後調用Connection對象get()方法獲得Document對象。然後再解析Document對象  Connection提供了一些設定方法timeout(),url()等等 

這裡貼一下我用到的 Java工程的測試代碼 

package com.javen.Jsoup;import java.io.IOException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class JsoupTest {  static String url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";  /**   * @param args   * @throws Exception   */  public static void main(String[] args) throws Exception {        // TODO Auto-generated method stub    BolgBody();    //test();    //Blog();    /*     * Document doc = Jsoup.connect("http://www.jb51.net/")     * .data("query", "Java") // 請求參數 .userAgent("I ' m jsoup") // 設定     * User-Agent .cookie("auth", "token") // 設定 cookie .timeout(3000) //     * 設定連線逾時時間 .post();     */// 使用 POST 方法存取 URL    /*     * // 從檔案中載入 HTML 文檔 File input = new File("D:/test.html"); Document doc     * = Jsoup.parse(input,"UTF-8","http://www.jb51.net/");     */  }  /**   * 擷取指定HTML 文檔指定的body   * @throws IOException   */  private static void BolgBody() throws IOException {    // 直接從字串中輸入 HTML 文檔    String html = "<html><head><title> 開源中國社區 </title></head>"        + "<body><p> 這裡是 jsoup 項目的相關文章 </p></body></html>";    Document doc = Jsoup.parse(html);    System.out.println(doc.body());            // 從 URL 直接載入 HTML 文檔    Document doc2 = Jsoup.connect(url).get();    String title = doc2.body().toString();    System.out.println(title);  }  /**   * 擷取部落格上的文章標題和連結   */  public static void article() {    Document doc;    try {      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();      Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");      for (Element element :ListDiv) {        Elements links = element.getElementsByTag("a");        for (Element link : links) {          String linkHref = link.attr("href");          String linkText = link.text().trim();          System.out.println(linkHref);          System.out.println(linkText);        }      }    } catch (IOException e) {      // TODO Auto-generated catch block      e.printStackTrace();    }  }  /**   * 擷取指定部落格文章的內容   */  public static void Blog() {    Document doc;    try {      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();      Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");      for (Element element :ListDiv) {        System.out.println(element.html());      }    } catch (IOException e) {      // TODO Auto-generated catch block      e.printStackTrace();    }      }}

下面來介紹android中使用Jsoup非同步解析網頁的資料 請注意: 這裡很容易遇到一個亂碼的問題

設定檔:AndroidManifest.xml中加 許可權

<uses-permission android:name="android.permission.INTERNET"></uses-permission>

layout的布局檔案

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"  xmlns:tools="http://schemas.android.com/tools"  android:layout_width="match_parent"  android:layout_height="match_parent"  android:orientation="vertical" >  <WebView    android:id="@+id/webView"    android:layout_width="fill_parent"    android:layout_height="200dp" />  <ScrollView    android:layout_width="wrap_content"    android:layout_height="wrap_content" >    <TextView      android:id="@+id/textView"      android:layout_width="wrap_content"      android:layout_height="wrap_content"      android:text="@string/hello_world" />  </ScrollView></LinearLayout>

主要非同步載入資料的代碼

package com.javen.aaa;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URL;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import android.app.Activity;import android.app.Dialog;import android.app.ProgressDialog;import android.os.AsyncTask;import android.os.Bundle;import android.util.Log;import android.webkit.WebView;import android.widget.TextView;public class MainActivity extends Activity {  private WebView webView;  private TextView textView;  private static final int DIALOG_KEY = 0;  @Override  protected void onCreate(Bundle savedInstanceState) {    super.onCreate(savedInstanceState);    setContentView(R.layout.main);    webView = (WebView) findViewById(R.id.webView);    textView=(TextView) findViewById(R.id.textView);    try {      ProgressAsyncTask asyncTask=new ProgressAsyncTask(webView,textView);      asyncTask.execute(10000);    } catch (Exception e) {      // TODO Auto-generated catch block      e.printStackTrace();    }  }    public String test() {    StringBuffer buffer=new StringBuffer();    Document doc;    try {      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();      Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");      for (Element element :ListDiv) {        Elements links = element.getElementsByTag("a");        for (Element link : links) {          String linkHref = link.attr("href");          String linkText = link.text().trim();          buffer.append("linkHref=="+linkHref);          buffer.append("linkText=="+linkText);                    System.out.println(linkHref);          System.out.println(linkText);        }      }    } catch (IOException e) {      // TODO Auto-generated catch block      e.printStackTrace();    }    return buffer.toString();  }    // 彈出"查看"對話方塊    @Override    protected Dialog onCreateDialog(int id) {      switch (id) {      case DIALOG_KEY: {        ProgressDialog dialog = new ProgressDialog(this);        dialog.setMessage("擷取資料中 請稍候...");        dialog.setIndeterminate(true);        dialog.setCancelable(true);        return dialog;      }      }      return null;    }        public static String readHtml(String myurl) {      StringBuffer sb = new StringBuffer("");      URL url;      try {        url = new URL(myurl);        BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), "gbk"));        String s = "";        while ((s = br.readLine()) != null) {          sb.append(s + "\r\n");        }      } catch (Exception e) {        e.printStackTrace();      }      return sb.toString();    }    class ProgressAsyncTask extends AsyncTask<Integer, Integer, String> {    private WebView webView;    private TextView textView;    public ProgressAsyncTask(WebView webView,TextView textView) {      super();      this.webView=webView;      this.textView=textView;    }    /**     * 這裡的Integer參數對應AsyncTask中的第一個參數 這裡的String傳回值對應AsyncTask的第三個參數     * 該方法並不運行在UI線程當中,主要用於非同步作業,所有在該方法中不能對UI當中的空間進行設定和修改     * 但是可以調用publish Progress方法觸發onProgressUpdate對UI進行操作     */    @Override    protected String doInBackground(Integer... params) {      String str =null;      Document doc = null;      try {//        String url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";//        //        doc= Jsoup.parse(new URL(url).openStream(),"utf-8", url);//        //doc = Jsoup.parse(readHtml(url));//        //doc=Jsoup.connect(url).get();//        str=doc.body().toString();        doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();        Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");        for (Element element :ListDiv) {          str=element.html();          System.out.println(element.html());        }        Log.d("doInBackground", str.toString());        System.out.println(str);        //你可以試試GBK或UTF-8      } catch (Exception e) {        // TODO Auto-generated catch block        e.printStackTrace();      }      return str.toString() ;      //return test();    }    /**     * 這裡的String參數對應AsyncTask中的第三個參數(也就是接收doInBackground的傳回值)     * 在doInBackground方法執行結束之後在運行,並且運行在UI線程當中 可以對UI空間進行設定     */    @Override    protected void onPostExecute(String result) {      webView.loadData(result, "text/html;charset=utf-8", null);      textView.setText(result);      removeDialog(DIALOG_KEY);    }    // 該方法運行在UI線程當中,並且運行在UI線程當中 可以對UI空間進行設定    @Override    protected void onPreExecute() {      showDialog(DIALOG_KEY);    }    /**     * 這裡的Intege參數對應AsyncTask中的第二個參數     * 在doInBackground方法當中,,每次調用publishProgress方法都會觸發onProgressUpdate執行     * onProgressUpdate是在UI線程中執行,所有可以對UI空間進行操作     */    @Override    protected void onProgressUpdate(Integer... values) {          }  }}

以上就是本文的全部內容,希望對大家的學習有所協助,也希望大家多多支援雲棲社區。

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.