Python使用BeautifulSoup庫解析HTML基本使用教程

BeautifulSoup是Python的一個第三方庫，可用於協助解析html/XML等內容，以抓取特定的網頁資訊。目前最新的是v4版本，這裡主要總結一下我使用的v3版本解析html的一些常用方法。

準備

1.Beautiful Soup安裝

為了能夠對頁面中的內容進行解析，本文使用Beautiful Soup。當然，本文的例子需求較簡單，完全可以流量分析字串的方式。

執行

sudo easy_install beautifulsoup4

即可安裝。

2.requests模組的安裝

requests模組用於載入要請求的web頁面。

在python的命令列中輸入import requests，報錯說明requests模組沒有安裝。

我這裡打算採用easy_install的線上安裝方式安裝，發現系統中並不存在easy_install命令，輸入sudo apt-get install python-setuptools來安裝easy_install工具。

執行sudo easy_install requests安裝requests模組。

基礎

1.初始化
匯入模組

#!/usr/bin/env pythonfrom BeautifulSoup import BeautifulSoup    #process html#from BeautifulSoup import BeautifulStoneSoup #process xml#import BeautifulSoup             #all

建立對象：str初始化，常用urllib2或browser返回的html初始化BeautifulSoup對象。

doc = ['hello',    'This is paragraph one of ptyhonclub.org.',    'This is paragraph two of pythonclub.org.',    '']soup = BeautifulSoup(''.join(doc))

指定編碼：當html為其他類型編碼（非utf-8和asc ii），比如GB2312的話，則需要指定相應的字元編碼，BeautifulSoup才能正確解析。

htmlCharset = "GB2312"soup = BeautifulSoup(respHtml, fromEncoding=htmlCharset)

2.擷取tag內容
尋找感興趣的tag塊內容，返回對應tag塊的剖析樹

head = soup.find('head')#head = soup.head#head = soup.contents[0].contents[0]print head

返回內容：hello
說明一下，contents屬性是一個列表，裡面儲存了該剖析樹的直接兒子。

html = soup.contents[0]    #  ... head = html.contents[0]    #  ... body = html.contents[1]    #  ... 

3.擷取關聯節點
使用parent擷取父節點

body = soup.bodyhtml = body.parent       # html是body的父親

使用nextSibling, previousSibling擷取前後兄弟

head = body.previousSibling  # head和body在同一層，是body的前一個兄弟p1 = body.contents[0]     # p1, p2都是body的兒子，我們用contents[0]取得p1p2 = p1.nextSibling      # p2與p1在同一層，是p1的後一個兄弟, 當然body.content[1]也可得到

contents[]的靈活運用也可以尋找關聯節點,尋找祖先或者子孫可以採用findParent(s), findNextSibling(s), findPreviousSibling(s)

4.find/findAll用法詳解
函數原型：find(name=None, attrs={}, recursive=True, text=None, **kwargs)，findAll會返回所有符合要求的結果，並以list返回。
tag搜尋

find(tagname)                 # 直接搜尋名為tagname的tag 如：find('head')find(list)                   # 搜尋在list中的tag，如: find(['head', 'body'])find(dict)                   # 搜尋在dict中的tag，如:find({'head':True, 'body':True})find(re.compile(''))              # 搜尋符合正則的tag, 如:find(re.compile('^p')) 搜尋以p開頭的tagfind(lambda)            # 搜尋函數返回結果為true的tag, 如:find(lambda name: if len(name) == 1) 搜尋長度為1的tagfind(True)                   # 搜尋所有tag

attrs搜尋

find(id='xxx')                 # 尋找id屬性為xxx的find(attrs={id=re.compile('xxx'), algin='xxx'}) # 尋找id屬性符合正則且algin屬性為xxx的find(attrs={id=True, algin=None})        # 尋找有id屬性但是沒有algin屬性的resp1 = soup.findAll('a', attrs = {'href': match1})resp2 = soup.findAll('h1', attrs = {'class': match2})resp3 = soup.findAll('img', attrs = {'id': match3})

text搜尋
文字的搜尋會導致其他搜尋給的值如：tag, attrs都失效。方法與搜尋tag一致

print p1.text# u'This is paragraphone.'print p2.text# u'This is paragraphtwo.'# 注意：1，每個tag的text包括了它以及它子孫的text。2，所有text已經被自動轉為unicode，如果需要，可以自行轉碼encode(xxx)

recursive和limit屬性
recursive=False表示只搜尋直接兒子，否則搜尋整個子樹，預設為True。當使用findAll或者類似返回list的方法時，limit屬性用於限制返回的數量，如findAll('p', limit=2)： 返回首先找到的兩個tag。

執行個體
本文以部落格的文檔列表頁面為例，利用python對頁面中的文章名進行提取。

文章列表頁中的文章列表部分的url如下：

 
  
  
2014-12-03Linux函數進階特性 
  
  
2014-12-02cgdb的使用 
...
 

代碼：

#!/usr/bin/env python                                                                              # -*- coding: utf-8 -*-' a http parse test programe '__author__ = 'kuring lv'import requestsimport bs4archives_url = "http://kuring.me/archive"def start_parse(url) :  print "開始擷取(%s)內容" % url  response = requests.get(url)  print "擷取網頁內容完畢"  soup = bs4.BeautifulSoup(response.content.decode("utf-8"))  #soup = bs4.BeautifulSoup(response.text);  # 為了防止漏掉調用close方法，這裡使用了with語句  # 寫入到檔案中的編碼為utf-8  with open('archives.txt', 'w') as f :    for archive in soup.select("li.listing-item a") :      f.write(archive.get_text().encode('utf-8') + "\n")      print archive.get_text().encode('utf-8')# 當命令列運行該模組時，__name__等於'__main__'# 其他模組匯入該模組時，__name__等於'parse_html'if __name__ == '__main__' :  start_parse(archives_url)

