16.Python使用lxml爬蟲

標籤：int   版本   字元   project   代碼   切換   for   nbsp   pythonh   

1.lxml是解析庫，使用時需要匯入該包，直接在命令列輸入：pip3 install lxml，基本上會報錯。正確應該去對應的網址：https://pypi.org/project/lxml/#files，直接下載對應的lxml

（根據python版本自己去選擇，筆者是python3.6，故下載：lxml-4.2.4-cp36-cp36m-win32.whl ，切換到下載的whl目錄，在該目錄下執行：

pip3 install lxml-4.2.4-cp36-cp36m-win32.whl ）

2.代碼如下所示：

import requestsfrom lxml import etreeurl = ‘https://www.mafengwo.cn/gonglve/ziyouxing/2033.html‘response = requests.get(url)   #返回一個response對象page = response.texthtml = etree.HTML(page)      #返回一個Element對象，將字串解析為HTML文檔content = html.xpath(‘//h2‘)for i in content:    print(i.text)

3.代碼解釋：

A：定義好url的路徑，使用url擷取到response對象   如：url = ‘‘

B：需要將reponse對象轉化為字串格式，page = response.text

C：使用解析庫將字串轉為為HTML文檔，根據自己想要擷取的內容去定義xpath路徑

16.Python使用lxml爬蟲