首頁 > 開發者 > Python

使用python提取html檔案中的特定資料的實現代碼

來源：互聯網
上載者：User
創建阿里雲帳戶，並獲得超過 40 款產品的免費試用版；而企業帳戶則可以享有總值 $1200 的免費試用版。立即註冊！

例如 具有如下結構的html檔案

複製代碼 代碼如下:<div class='entry-content'>
<p>感興趣內容1</p>
<p>感興趣內容2</p>
……
<p>感興趣內容n</p>
</div>
<div class='content'>
<p>內容1</p>
<p>內容2</p>
……
<p>內容n</p>
</div>

我們嘗試獲得'感興趣內容'

對於常值內容,我們儲存到IDList中。
可是如何標記我們遇到的文本是感興趣的內容呢，也就是，處於 複製代碼 代碼如下:<div class='entry-content'>
<p>這裡的內容</p>
<p>還有這裡</p>
……
<p>以及這裡的內容</p>
</div>

思路如下

  1. 遇到<div class='entry-content'> 設定標記flag = True
  2. 遇到</div>後 設定標記flag = False
  3. 當flag 為True時遇到<p> 設定標記getdata = True
  4. 遇到</p> 且getdata = True,設定getdata = False

python為我們提供了SGMLParser類，SGMLParser 將 HTML 分析成 8 類資料[1]，然後對每一類調用單獨的方法:使用時只需繼承SGMLParser 類，並編寫頁面資訊的處理函數。

可用的處理函數如下：

  • 開始標記 (Start tag)

是一個開始一個塊的 HTML 標籤，象 <html>，<head>，<body> 或 <pre> 等，或是一個獨一的標記，象 <br> 或 <img> 等。當它找到一個開始標記 tagname，SGMLParser 將尋找名為 start_tagname 或 do_tagname 的方法。例如，當它找到一個 <pre> 標記，它將尋找一個 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 會使用這個標記的屬性列表來調用這個方法；否則，它用這個標記的名字和屬性列表來調用 unknown_starttag 方法。

  • 結束標記 (End tag)

是結束一個塊的 HTML 標籤，象 </html>，</head>，</body> 或 </pre> 等。當找到一個結束標記時，SGMLParser 將尋找名為 end_tagname 的方法。如果找到，SGMLParser 調用這個方法，否則它使用標記的名字來調用 unknown_endtag 。

  • 字元引用 (Character reference)

用字元的十進位或等同的十六進位來表示的逸出字元，象  。當找到，SGMLParser 使用十進位或等同的十六進位字元文本來調用 handle_charref 。

  • 實體引用 (Entity reference)

HTML 實體，象 。當找到，SGMLParser 使用 HTML 實體的名字來調用 handle_entityref 。

  • 注釋 (Comment)

HTML 注釋, 包括在 <!-- ... -->之間。當找到，SGMLParser 用注釋內容來調用 handle_comment。

  • 處理指示 (Processing instruction)

HTML 處理指示，包括在 <? ... > 之間。當找到，SGMLParser 用處理指示內容來調用 handle_pi。

  • 聲明 (Declaration)

HTML 聲明，如 DOCTYPE，包括在 <! ... >之間。當找到，SGMLParser 用聲明內容來調用 handle_decl。

  • 文本資料 (Text data)

文字區塊。不滿足其它 7 種類別的任何東西。當找到，SGMLParser 用文本來調用 handle_data。

綜上，的到如下代碼

複製代碼 代碼如下:from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
SGMLParser.reset(self)

def start_div(self, attrs):
for k,v in attrs:#遍曆div的所有屬性以及其值
if k == 'class' and v == 'entry-content':#確定進入了<div class='entry-content'>
self.flag = True
return

def end_div(self):#遇到</div>
self.flag = False

def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True

複製代碼 代碼如下: def end_p(self):#遇到</p>
if self.getdata:
self.getdata = False

def handle_data(self, text):#處理文本
if self.getdata:
self.IDlist.append(text)

複製代碼 代碼如下: def printID(self):
for i in self.IDlist:
print i

上面的思路存在一個bug
遇到</div>後 設定標記flag = False
如果遇到div嵌套怎麼辦？

複製代碼 代碼如下:<div class='entry-content'><div>我是來搗亂的</div><p>感興趣</p></div>

在遇到第一個</div>之後標記flag = False，導致無法的到‘感興趣內容'。
怎麼辦呢？如何判斷遇到的</div>是和<div class='entry-content'>匹配的哪個呢？
很簡單，</div>和<div>是對應的，我們可以記錄他所處的層數。進入子層div verbatim加1,退出子層div verbatim減1.這樣就可以判斷是否是同一層了。

修改後 如下

複製代碼 代碼如下:from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
self.verbatim = 0
SGMLParser.reset(self)

def start_div(self, attrs):
if self.flag == True:
self.verbatim +=1 #進入子層div了，層數加1
return
for k,v in attrs:#遍曆div的所有屬性以及其值
if k == 'class' and v == 'entry-content':#確定進入了<div class='entry-content'>
self.flag = True
return

def end_div(self):#遇到</div>
if self.verbatim == 0:
self.flag = False
if self.flag == True:#退出子層div了，層數減1
self.verbatim -=1

def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True

def end_p(self):#遇到</p>
if self.getdata:
self.getdata = False

def handle_data(self, text):#處理文本
if self.getdata:
self.IDlist.append(text)

def printID(self):
for i in self.IDlist:
print i

最後 建立了我們自己的類GetIdList後如何使用呢？
簡單建立執行個體 t = GetIdList()
the_page為字串，內容為html
t.feed(the_page)#對html解析

t.printID()列印出結果

全部測試代碼為

複製代碼 代碼如下:from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
self.verbatim = 0
SGMLParser.reset(self)

def start_div(self, attrs):
if self.flag == True:
self.verbatim +=1 #進入子層div了，層數加1
return
for k,v in attrs:#遍曆div的所有屬性以及其值
if k == 'class' and v == 'entry-content':#確定進入了<div class='entry-content'>
self.flag = True
return

def end_div(self):#遇到</div>
if self.verbatim == 0:
self.flag = False
if self.flag == True:#退出子層div了，層數減1
self.verbatim -=1

def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True

def end_p(self):#遇到</p>
if self.getdata:
self.getdata = False

def handle_data(self, text):#處理文本
if self.getdata:
self.IDlist.append(text)

def printID(self):
for i in self.IDlist:
print i

##import urllib2
##import datetime
##vrg = (datetime.date(2012,2,19) - datetime.date.today()).days
##strUrl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
##req = urllib2.Request(strUrl)#通過網路擷取網頁
##response = urllib2.urlopen(req)
##the_page = response.read()

the_page ='''<html>
<head>
<title>test</title>
</head>
<body>
<h1>title</h1>
<div class='entry-content'>
<div class= 'ooxx'>我是來搗亂的</div>
<p>感興趣內容1</p>
<p>感興趣內容2</p>
……
<p>感興趣內容n</p>
<div class= 'ooxx'>我是來搗亂的2<div class= 'ooxx'>我是來搗亂的3</div></div>
</div>
<div class='content'>
<p>內容1</p>
<p>內容2</p>
……
<p>內容n</p>
</div>
</body>
</html>
'''
lister = GetIdList()
lister.feed(the_page)
lister.printID()

執行後 輸出為

複製代碼 代碼如下:感興趣內容1
感興趣內容2
感興趣內容n

參考文獻

[1] 深入 Python:Dive Into Python 中文版

本文章原先以中文撰寫並發佈於 aliyun.com，亦設英文版本，僅作資訊用途。本網站不對文章的準確性，完整性或可靠性或其任何翻譯作出任何明示或暗示的陳述或保證。如對該文章有任何疑慮或投訴，請傳送電郵至 info-contact@alibabacloud.com 並提供相關疑慮或投訴的詳細說明。職員會於 5 個工作天內與您聯絡，一經驗證之後，即會刪除該侵權內容。

相關關鍵詞：
python remove html tags python send html mail python report generator html convert html to pdf python python convert html to plain text python html
相關文章
python讀寫ini檔案樣本(python讀寫檔案)_python
python CMDB開發
python：發送郵件
python學習筆記2-列（list）
python學習筆記1-賦值與字串

聯繫我們

該頁面正文內容均來源於網絡整理，並不代表阿里雲官方的觀點，該頁面所提到的產品和服務也與阿里云無關，如果該頁面內容對您造成了困擾，歡迎寫郵件給我們，收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容，歡迎發送郵件至： info-contact@alibabacloud.com 進行舉報並提供相關證據，工作人員會在 5 個工作天內聯絡您，一經查實，本站將立刻刪除涉嫌侵權內容。

熱門內容

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

Get Started for Free

  • Sales Support

    1 on 1 presale consultation

    Chat Contact Sales

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    Open a Ticket

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.

    Learn More