jsoup 是一款Java 的HTML解析器,可直接解析某個URL地址、HTML常值內容。它提供了一套非常省力的API,可通過DOM,CSS以及類似於jQuery的操作方法來取出和操作資料。
Jsoup的官方中文地址:http://www.open-open.com/jsoup/parse-document-from-string.htm
在這個網站上你可以找到一些說明,.jar檔案的下載,doc文檔的說明等等
jsoup的主要功能如下:
- 從一個URL,檔案或字串中解析HTML;
- 使用DOM或CSS選取器來尋找、取出資料;
- 可操作HTML元素、屬性、文本;
jsoup是基於MIT協議發布的,可放心使用於商業項目。
Jsoup類下面的方法都是靜態可直接調用。幾個方法的說明
Connect()方法,獲得一個Connection,然後調用Connection對象get()方法獲得Document對象。然後再解析Document對象 Connection提供了一些設定方法timeout(),url()等等
這裡貼一下我用到的 Java工程的測試代碼
package com.javen.Jsoup;import java.io.IOException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class JsoupTest { static String url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html"; /** * @param args * @throws Exception */ public static void main(String[] args) throws Exception { // TODO Auto-generated method stub BolgBody(); //test(); //Blog(); /* * Document doc = Jsoup.connect("http://www.jb51.net/") * .data("query", "Java") // 請求參數 .userAgent("I ' m jsoup") // 設定 * User-Agent .cookie("auth", "token") // 設定 cookie .timeout(3000) // * 設定連線逾時時間 .post(); */// 使用 POST 方法存取 URL /* * // 從檔案中載入 HTML 文檔 File input = new File("D:/test.html"); Document doc * = Jsoup.parse(input,"UTF-8","http://www.jb51.net/"); */ } /** * 擷取指定HTML 文檔指定的body * @throws IOException */ private static void BolgBody() throws IOException { // 直接從字串中輸入 HTML 文檔 String html = "<html><head><title> 開源中國社區 </title></head>" + "<body><p> 這裡是 jsoup 項目的相關文章 </p></body></html>"; Document doc = Jsoup.parse(html); System.out.println(doc.body()); // 從 URL 直接載入 HTML 文檔 Document doc2 = Jsoup.connect(url).get(); String title = doc2.body().toString(); System.out.println(title); } /** * 擷取部落格上的文章標題和連結 */ public static void article() { Document doc; try { doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get(); Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle"); for (Element element :ListDiv) { Elements links = element.getElementsByTag("a"); for (Element link : links) { String linkHref = link.attr("href"); String linkText = link.text().trim(); System.out.println(linkHref); System.out.println(linkText); } } } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } /** * 擷取指定部落格文章的內容 */ public static void Blog() { Document doc; try { doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get(); Elements ListDiv = doc.getElementsByAttributeValue("class","postBody"); for (Element element :ListDiv) { System.out.println(element.html()); } } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } }}
下面來介紹android中使用Jsoup非同步解析網頁的資料 請注意: 這裡很容易遇到一個亂碼的問題
設定檔:AndroidManifest.xml中加 許可權
<uses-permission android:name="android.permission.INTERNET"></uses-permission>
layout的布局檔案
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" android:layout_width="match_parent" android:layout_height="match_parent" android:orientation="vertical" > <WebView android:id="@+id/webView" android:layout_width="fill_parent" android:layout_height="200dp" /> <ScrollView android:layout_width="wrap_content" android:layout_height="wrap_content" > <TextView android:id="@+id/textView" android:layout_width="wrap_content" android:layout_height="wrap_content" android:text="@string/hello_world" /> </ScrollView></LinearLayout>
主要非同步載入資料的代碼
package com.javen.aaa;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URL;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import android.app.Activity;import android.app.Dialog;import android.app.ProgressDialog;import android.os.AsyncTask;import android.os.Bundle;import android.util.Log;import android.webkit.WebView;import android.widget.TextView;public class MainActivity extends Activity { private WebView webView; private TextView textView; private static final int DIALOG_KEY = 0; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.main); webView = (WebView) findViewById(R.id.webView); textView=(TextView) findViewById(R.id.textView); try { ProgressAsyncTask asyncTask=new ProgressAsyncTask(webView,textView); asyncTask.execute(10000); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } } public String test() { StringBuffer buffer=new StringBuffer(); Document doc; try { doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get(); Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle"); for (Element element :ListDiv) { Elements links = element.getElementsByTag("a"); for (Element link : links) { String linkHref = link.attr("href"); String linkText = link.text().trim(); buffer.append("linkHref=="+linkHref); buffer.append("linkText=="+linkText); System.out.println(linkHref); System.out.println(linkText); } } } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } return buffer.toString(); } // 彈出"查看"對話方塊 @Override protected Dialog onCreateDialog(int id) { switch (id) { case DIALOG_KEY: { ProgressDialog dialog = new ProgressDialog(this); dialog.setMessage("擷取資料中 請稍候..."); dialog.setIndeterminate(true); dialog.setCancelable(true); return dialog; } } return null; } public static String readHtml(String myurl) { StringBuffer sb = new StringBuffer(""); URL url; try { url = new URL(myurl); BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), "gbk")); String s = ""; while ((s = br.readLine()) != null) { sb.append(s + "\r\n"); } } catch (Exception e) { e.printStackTrace(); } return sb.toString(); } class ProgressAsyncTask extends AsyncTask<Integer, Integer, String> { private WebView webView; private TextView textView; public ProgressAsyncTask(WebView webView,TextView textView) { super(); this.webView=webView; this.textView=textView; } /** * 這裡的Integer參數對應AsyncTask中的第一個參數 這裡的String傳回值對應AsyncTask的第三個參數 * 該方法並不運行在UI線程當中,主要用於非同步作業,所有在該方法中不能對UI當中的空間進行設定和修改 * 但是可以調用publish Progress方法觸發onProgressUpdate對UI進行操作 */ @Override protected String doInBackground(Integer... params) { String str =null; Document doc = null; try {// String url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";// // doc= Jsoup.parse(new URL(url).openStream(),"utf-8", url);// //doc = Jsoup.parse(readHtml(url));// //doc=Jsoup.connect(url).get();// str=doc.body().toString(); doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get(); Elements ListDiv = doc.getElementsByAttributeValue("class","postBody"); for (Element element :ListDiv) { str=element.html(); System.out.println(element.html()); } Log.d("doInBackground", str.toString()); System.out.println(str); //你可以試試GBK或UTF-8 } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } return str.toString() ; //return test(); } /** * 這裡的String參數對應AsyncTask中的第三個參數(也就是接收doInBackground的傳回值) * 在doInBackground方法執行結束之後在運行,並且運行在UI線程當中 可以對UI空間進行設定 */ @Override protected void onPostExecute(String result) { webView.loadData(result, "text/html;charset=utf-8", null); textView.setText(result); removeDialog(DIALOG_KEY); } // 該方法運行在UI線程當中,並且運行在UI線程當中 可以對UI空間進行設定 @Override protected void onPreExecute() { showDialog(DIALOG_KEY); } /** * 這裡的Intege參數對應AsyncTask中的第二個參數 * 在doInBackground方法當中,,每次調用publishProgress方法都會觸發onProgressUpdate執行 * onProgressUpdate是在UI線程中執行,所有可以對UI空間進行操作 */ @Override protected void onProgressUpdate(Integer... values) { } }}
以上就是本文的全部內容,希望對大家的學習有所協助,也希望大家多多支援雲棲社區。