HTMLPARSER學習小結

htmlparser是個優秀的網頁資訊抓取工具，下面小結其一些基本的用法：

1 建立parser對象，有兩種方式

  Parser parser=new Parser(String html)

  傳入的html

  第2種為：

   //通過指定URLConnection對象建立Parser對象

  Parser parser = new Parser((HttpURLConnection)(new URL(url)).openConnection());

之後就可以進行訪問parser中解析好的內容了

2 解析時，有兩類方式，visitor方式和filter過濾方式，vistior方式需要遍曆每一個節點，

而filter方式則是過濾。

3 visitor方式的例子；

   try{

//通過指定URLConnection對象建立Parser對象

Parser parser = new Parser((HttpURLConnection)(new URL(url)).openConnection());

//設定Parser對象的字元編碼,一般與網頁的字元編碼保持一致

        parser.setEncoding("GB2312");

        //建立LinkFindingVisitor對象

        LinkFindingVisitor lvisitor = new LinkFindingVisitor("http://news.qq.com/");

        //尋找http://www.qq.com的連結個數

        parser.visitAllNodesWith(lvisitor);

        System.out.println("網頁中包含http://news.qq.com/的連結個數:"+lvisitor.getCount());

}catch(Exception ex){

ex.printStackTrace();

}

      /** TextExtractingVisitor類的用法舉例 */

public static void testTextExtractingVisitor(String url){

try{

//通過指定URLConnection對象建立Parser對象

Parser parser = new Parser((HttpURLConnection)(new URL(url)).openConnection());

//設定Parser對象的字元編碼,一般與網頁的字元編碼保持一致

        parser.setEncoding("GB2312");

        //建立StringFindingVisitor對象

        TextExtractingVisitor visitor = new TextExtractingVisitor();

        //去除網頁中的所有標籤,提出純文字內容

        parser.visitAllNodesWith(visitor);

        System.out.println("網頁的純文字內容為:"+visitor.getExtractedText());

}catch(Exception ex){

ex.printStackTrace();

}

}

4 還可以自訂nodevisitor來擴充nodevisitor,重載其中的各方法：

  /** 自訂NodeVisitor子類,並重載抽象類別NodeVisitor中的相關方法 */

public class MyNodeVisitor extends NodeVisitor {

/** 重載抽象類別NodeVisitor的beginParsing方法,解析開始時調用此方法 */

public void beginParsing(){

System.out.println("開始解析HTML內容......");

}

/** 重載抽象類別NodeVisitor的finishedParsing方法,解析結束時調用此方法 */

public void finishedParsing(){

System.out.println("整個HTML內容解析完畢!");

}

/** 重載抽象類別NodeVisitor的visitTag方法,遇到開始標籤時調用此方法 */

public void visitTag(Tag tag){

System.out.println("開始當前標籤: "+tag.getText());

}

/** 重載抽象類別NodeVisitor的visitEndTag方法,遇到結束標籤時調用此方法 */

public void visitEndTag(Tag tag){

System.out.println("結束當前標籤: "+tag.getText());

}

/** 重載抽象類別NodeVisitor的visitStringNode方法,遇到文本節點時調用此方法 */

public void visitStringNode(Text string){

System.out.println("當前文本節點: "+string);

}

/** 重載抽象類別NodeVisitor的visitRemarkNode方法,遇到注釋時調用此方法 */

public void visitRemarkNode(Remark remark){

System.out.println("當前注釋: "+remark);

}

5 使用filter方式過濾

  基本用法：

   TagNameFilter類用法

   //通過指定URLConnection對象建立Parser對象

Parser parser = new Parser((HttpURLConnection)(new URL(url)).openConnection());

        //設定Parser對象的字元編碼,一般與網頁的字元編碼保持一致

parser.setEncoding("GB2312");

            //建立TagNameFilter執行個體

            NodeFilter filter = new TagNameFilter ("DIV");

            //篩選出所有DIV標籤節點

            NodeList nodes = parser.extractAllNodesThatMatch(filter);

            if(nodes!=null) {

                for (int i = 0; i < nodes.size(); i++) {

                    Node textnode = (Node) nodes.elementAt(i);                   

                    System.out.println("當前DIV:"+textnode.getText());

                }

   AndFilter類用法

    //通過指定URLConnection對象建立Parser對象

Parser parser = new Parser((HttpURLConnection)(new URL(url)).openConnection());

        //設定Parser對象的字元編碼,一般與網頁的字元編碼保持一致

parser.setEncoding("GB2312");

            //建立HasAttributeFilter執行個體

        NodeFilter filter1 = new HasAttributeFilter("id");

        //建立TagNameFilter執行個體

        NodeFilter innerFilter = new TagNameFilter ("DIV");

        //建立HasChildFilter執行個體

        NodeFilter filter2 = new HasChildFilter(innerFilter);

        //建立AndFilter執行個體

        NodeFilter filter = new AndFilter(filter1, filter2);

        //篩選出所有具有id屬性且擁有子節點的所有DIV節點

        NodeList nodes = parser.extractAllNodesThatMatch(filter);

            if(nodes!=null) {

                for (int i = 0; i < nodes.size(); i++) {

                    Node textnode = (Node) nodes.elementAt(i);                   

                    System.out.println("當前DIV:"+textnode.getText());

                }

            }      

StringFilter類用法:

  //通過指定URLConnection對象建立Parser對象

Parser parser = new Parser((HttpURLConnection)(new URL(url)).openConnection());

        //設定Parser對象的字元編碼,一般與網頁的字元編碼保持一致

parser.setEncoding("GB2312");

//建立StringFilter執行個體

        NodeFilter filter = new StringFilter("陳水扁");

        //篩選出所有包含"陳水扁"字串的所有文本節點

        NodeList nodes = parser.extractAllNodesThatMatch(filter);

            if(nodes!=null) {

                for (int i = 0; i < nodes.size(); i++) {

                    Node textnode = (Node) nodes.elementAt(i);                   

                    System.out.println("包含\"陳水扁\"字串的文本節點:"+textnode.getText());

                }

            }