Python爬蟲入門 | 爬取豆瓣電影資訊

標籤：Python 程式設計語言 web開發

這是一個適用於小白的Python爬蟲免費教學課程，只有7節，讓零基礎的你初步瞭解爬蟲，跟著課程內容能自己爬取資源。看著文章，開啟電腦動手實踐，平均45分鐘就能學完一節，如果你願意，今天內你就可以邁入爬蟲的大門啦~好啦，正式開始我們的第二節課《爬取豆瓣電影資訊》吧！啦啦哩啦啦，都看黑板~1. 爬蟲原理1.1 爬蟲基本原理聽了那麼多的爬蟲，到底什麼是爬蟲？爬蟲又是如何工作的呢？我們先從“爬蟲原理”說起。爬蟲又稱為網頁蜘蛛，是一種程式或指令碼。但重點在於：它能夠按照一定的規則，自動擷取網頁資訊。爬蟲的通用架構如下：1.挑選種子URL；2.將這些URL放入待抓取的URL隊列；3.取出待抓取的URL，下載並儲存進已下載網頁庫中。此外，將這些URL放入待抓取URL隊列，進入下一迴圈；4.分析已抓取隊列中的URL，並且將URL放入待抓取URL隊列，從而進入下一迴圈。

咳咳~
還是用一個具體的例子，來說明吧！

1.2 一個爬蟲例子

爬蟲擷取網頁資訊和人工擷取資訊，其實原理是一致的，比如我們要擷取電影的“評分”資訊：

人工操作步驟：擷取電影資訊的頁面定位（找到）到評分資訊的位置複製、儲存我們想要的評分資料爬蟲操作步驟：請求並下載電影頁面資訊解析並定位評分資訊儲存評分資料感覺是不是很像？1.3 爬蟲的基本流程簡單來說，我們向伺服器發送請求後，會得到返回的頁面，通過解析頁面之後，我們可以抽取我們想要的那部分資訊，並儲存在指定的文檔或資料庫中。這樣，我們想要的資訊就被我們“爬”下來啦~2. Requests+Xpath 爬取豆瓣電影Python 中爬蟲相關的包很多：Urllib、requsts、bs4……我們從 requests+xpath 講起，因為太容易上手了！學習之後你就會發現，BeautifulSoup 還是稍微有點難的。下面我們用 requests+xpath 爬取豆瓣電影：2.1 安裝 Python 應用程式套件：requests、lxml如果是首次使用Requests+Xpath，首先需要安裝兩個包：requests和lxml，在終端分別輸入以下兩行代碼即可（安裝方法在第1節中已講過）：

pip install requests

pip install lxml

2.2 匯入我們需要的 Python 模組我們在jupyter中編寫代碼，首先匯入我們需要的兩個模組：import requests
from lxml import etree
Python中匯入庫直接用”import+庫名“，需要用庫裡的某種方法用”from+庫名+import+方法名“。這裡我們需要requests來下載網頁，用lxml.etree來解析網頁。2.3 擷取豆瓣電影目標網頁並解析我們要爬取豆瓣電影《肖申克的救贖》上面的一些資訊，網站地址是：https://movie.douban.com/subject/1292052/

給定 url 並用 requests.get() 方法來擷取頁面的text，用 etree.HTML() 來解析下載的頁面資料“data”。url = ‘https://movie.douban.com/subject/1292052/‘
data = requests.get(url).text
s=etree.HTML(data)
2.4 擷取電影名稱擷取元素的Xpath資訊並獲得文本：file=s.xpath(‘元素的Xpath資訊/text()‘)
這裡的“元素的Xpath資訊”是需要我們手動擷取的，擷取方式為：定位目標元素，在網站上依次點擊：右鍵 > 檢查

br/>快速鍵“shift+ctrl+c”，移動滑鼠到對應的元素時即可看到對應網頁代碼：
這樣我們就把元素中的Xpath資訊複製下來了：//*[@id="content"]/h1/span[1]
print(film)
2.5 代碼以及運行結果以上完整代碼如下：import requests
from lxml import etree

url = ‘https://movie.douban.com/subject/1292052/‘
data = requests.get(url).text
s=etree.HTML(data)

film=s.xpath(‘//*[@id="content"]/h1/span[1]/text()‘)
print(film)
在 Jupyter 中運行完整代碼及結果如下：

至此，我們完成了爬取豆瓣電影《肖申克的救贖》中“電影名稱”資訊的代碼編寫，可以在 Jupyter 中運行。2.6 擷取其它元素資訊除了電影的名字，我們還可以擷取導演、主演、電影片長等資訊，擷取的方式是類似的。代碼如下：director=s.xpath(‘//[@id="info"]/span[1]/span[2]/a/text()‘) #導演
actor1=s.xpath(‘//[@id="info"]/span[3]/span[2]/a[1]/text()‘) #主演1
actor2=s.xpath(‘//[@id="info"]/span[3]/span[2]/a[2]/text()‘) #主演2
actor3=s.xpath(‘//[@id="info"]/span[3]/span[2]/a[3]/text()‘) #主演3
time=s.xpath(‘//[@id="info"]/span[13]/text()‘) #電影片長
觀察上面的代碼，發現擷取不同“主演”資訊時，區別只在於“a[x]”中“x”的數字大小不同。實際上，要一次性擷取所有“主演”的資訊時，用不加數位“a”表示即可。代碼如下：actor=s.xpath(‘//[@id="info"]/span[3]/span[2]/a/text()‘) #主演
完整代碼如下：import requests
from lxml import etree

url = ‘https://movie.douban.com/subject/1292052/‘
data = requests.get(url).text
s=etree.HTML(data)

film=s.xpath(‘//[@id="content"]/h1/span[1]/text()‘)
director=s.xpath(‘//[@id="info"]/span[1]/span[2]/a/text()‘)br/>actor=s.xpath(‘//*[@id="info"]/span[3]/span[2]/a/text()‘)

print(‘電影名稱：‘,film)
print(‘導演：‘,director)
print(‘主演：‘,actor)
print(‘片長：‘,time)
在jupyter中運行完整代碼及結果如下：

3. 關於RequestsRequests庫官方的介紹有這麼一句話：Requests 唯一的一個非轉基因的 Python HTTP 庫，人類可以安全享用。這句話直接並霸氣地宣示了 Requests 庫是 python 最好的一個HTTP庫。為什麼它有這樣的底氣？如有興趣請閱讀 Requests 官方文檔 。Requests 常用的七種方法：

4. 關於解析神器 XpathXpath 即為 XML 路徑語言（XML Path Language），它是一種用來確定 XML 文檔中某部分位置的語言。Xpath 基於 XML 的樹狀結構，提供在資料結構樹中找尋節點的能力。起初 Xpath 的提出的初衷是將其作為一個通用的、介於 Xpointer 與 XSL 間的文法模型。但是Xpath 很快的被開發人員採用來當作小型查詢語言。可以閱讀該文檔瞭解更多關於 Xpath 的知識。Xpath解析網頁的流程：1.首先通過Requests庫擷取網頁資料2.通過網頁解析，得到想要的資料或者新的連結3.網頁解析可以通過 Xpath 或者其它解析工具進行，Xpath 在是一個非常好用的網頁解析工具

常見的網頁解析方法比較

Regex使用比較困難，學習成本較高
BeautifulSoup 效能較慢，相對於 Xpath 較難，在某些特定情境下有用
Xpath 使用簡單，速度快（Xpath是lxml裡面的一種），是入門最好的選擇
好了，這節課就到這裡！

Python爬蟲入門 | 爬取豆瓣電影資訊