Python爬蟲之lxml-etree和xpath的結合使用（附案例）

本篇文章給大家介紹的是Python爬蟲之lxml-etree和xpath的結合使用（附案例），內容很詳細，希望可以協助到大家。

lxml：python 的HTML/XML的解析器

官網文檔：https://lxml.de/

使用前，需要安裝安 lxml 包

功能：

1.解析HTML：使用 etree.HTML(text) 將字串格式的 html 片段解析成 html 文檔

2.讀取xml檔案

3.etree和XPath 配合使用

lxml 的安裝

【PyCharm】>【file】>【settings】>【Project Interpreter】>【+】 >【lxml】>【install】

具體操作：

lxml-etree 的使用

• 案例v25檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py25etree.py

• 用 lxml 來解析HTML代碼

# 先安裝lxml# 用 lxml 來解析HTML代碼from lxml import etreetext = '''<p>    <ul>        <li class="item-0"><a href="0.html">item 0 </a></li>        <li class="item-1"><a href="1.html">item 1 </a></li>        <li class="item-2"><a href="2.html">item 2 </a></li>        <li class="item-3"><a href="3.html">item 3 </a></li>        <li class="item-4"><a href="4.html">item 4 </a></li>        <li class="item-5"><a href="5.html">item 5 </a></li>    </ul>     </p>'''# 利用 etree.HTML 把字串解析成 HTML 檔案html = etree.HTML(text)s = etree.tostring(html).decode()print(s)

運行結果

lxml-etree 的使用

• 案例v26etree2檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py26etree2.py

• 讀取xml檔案：

# lxml-etree讀取檔案from lxml import etreexml = etree.parse("./py24.xml")sxml = etree.tostring(xml, pretty_print=True)print(sxml)

運行結果

etree和XPath 配合使用

• 案例v26expath.檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py26expath.py

• etree和XPath 配合使用：

# lxml-etree讀取檔案from lxml import etreexml = etree.parse("./py24.xml")print(type(xml))# 尋找所有 book 節點rst = xml.xpath('//book')print(type(rst))print(rst)# 尋找帶有 category 屬性值為 sport 的元素rst2 = xml.xpath('//book[@category="sport"]')print(type(rst2))print(rst2)# 尋找帶有category屬性值為sport的元素的book元素下到的year元素rst3 = xml.xpath('//book[@category="sport"]/year')rst3 = rst3[0]print('-------------\n',type(rst3))print(rst3.tag)print(rst3.text)

運行結果

etree和XPath 配合使用結果