Python用HTMLParser解析HTML檔案

HTMLParser是Python內建的模組，使用簡單，能夠很容易的實現HTML檔案的分析。
本文主要簡單講一下HTMLParser的用法.

使用時需要定義一個從類HTMLParser繼承的類，重定義函數：

• handle_starttag( tag, attrs)
• handle_startendtag( tag, attrs)
• handle_endtag( tag)

來實現自己需要的功能。

tag是的html標籤

attrs是 (屬性，值)元組(tuple)的列表(list).

如一個標籤為：<input type="hidden" name="NXX" id="IDXX" value="VXX" />

那麼它的attrs列表為[('type', 'hidden'), ('name', 'NXX'), ('id', 'IDXX'), ('value', 'VXX')]
HTMLParser自動將tag和attrs都轉為小寫。

下面給出的例子抽取了html中的所有連結：

代碼

from HTMLParser import HTMLParser
 
class MyHTMLParser(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self.links = []
 
    def handle_starttag(self, tag, attrs):
        #print "Encountered the beginning of a %s tag" % tag
        if tag == "a":
            if len(attrs) == 0: pass
            else:
                for (variable, value)  in attrs:
                    if variable == "href":
                        self.links.append(value)
 
if __name__ == "__main__":
    html_code = """
    <a href="www.google.com"> google.com</a>
    <A Href="www.pythonclub.org"> PythonClub </a>
    <A HREF = "www.sina.com.cn"> Sina </a>
    """
    hp = MyHTMLParser()
    hp.feed(html_code)
    hp.close()
    print(hp.links)

 

輸出為：

['www.google.com', 'www.pythonclub.org', 'www.sina.com.cn']

如果想抽取圖形連結

<img src='http://www.google.com/intl/zh-CN_ALL/images/logo.gif' />

就要重定義 handle_startendtag( tag, attrs) 函數