Python爬蟲：現學現用Xpath爬取豆瓣音樂

標籤：取圖   music   下標   掌握   音樂   圖片   通用   一起   欄位   

爬蟲的抓取方式有好幾種， Regex，Lxml(xpath)與Beautiful,我在網上查了一下資料，瞭解到三者之間的使用難度與效能

三種爬蟲方式的對比。

抓取方式	效能	使用難度
Regex	快	困難
Lxml	快	簡單
BeautifulSoup	慢	簡單

這樣一比較我我選擇了Lxml(xpath)的方式了，雖然有三種方式，但肯定是要選擇最好的方式來爬蟲，這個道理大家都懂，另外有興趣的朋友也可以去瞭解另外兩種爬蟲方式！

好了現在來講講xpath

由於Xpath屬於lxml模組，所以首先需要安裝lxml庫，老辦法直接在file-->setting---project interpreter 一鍵添加lxml庫。

xpath簡單用法

from lxml import etree

s=etree.HTML(源碼) #將源碼轉化為能被XPath匹配的格式

s.xpath(xpath運算式) #返回為一列表,

基礎文法：

1. // 雙斜杠 定位根節點，會對全文進行掃描，在文檔中選取所有合格內容，以列表的形式返回。
2. / 單斜杠 尋找當前標籤路徑的下一層路徑標籤或者對當前路標籤內容進行操作
3. /text() 擷取當前路徑下的常值內容
4. /@xxxx 提取當前路徑下標籤的屬性值
5. | 可選符 使用|可選取若干個路徑 如//p | //div 即在當前路徑下選取所有合格p標籤和div標籤。
6. . 點 用來選取當前節點
7. .. 雙點 選取當前節點的父節點

學以致用，方能讓我們能快速掌握xpath文法功能。

我們這次需要爬取豆瓣音樂前250條

開啟豆瓣音樂：https://music.douban.com/top250

擷取單條資料1.擷取音樂標題

右鍵快顯功能表欄 Copy==> Copy Xpath

這裡我們想擷取音樂標題，音樂標題的xpath是：xpath://*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

# coding:utf-8from lxml import etreeimport requestsurl = ‘https://music.douban.com/top250‘html = requests.get(url).texts = etree.HTML(html)title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a‘)print title

運行代碼：
居然是空的。！！！
這裡需要注意一下，瀏覽器複製的xpath只能作參考，因為瀏覽器經常會在自己裡面增加多餘的tbody標籤，我們需要手動把這個標籤刪除
刪除中間的/tbody後,是這樣的，
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a‘)
然後我們再運行代碼。
得到：
<Element a at 0x53d26c8>

說明標題被擷取到了。
因為要擷取標題文本，所以xpath運算式要追加/text()
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()

又因為這個s.xpath返回的是一個集合，且集合中只有一個元素所以我再追加一個[0]
新的運算式：
title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text(),再追加[0]

重新運行得到結果：
We Sing. We Dance. We Steal Things.
正是我們想要的標題。

2.擷取音樂評分與評價人數

老辦法，先用右鍵copy評分的xpath ://*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[2]
複製評價人數的xpath://*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[3]/text()

同樣的我們要把tbody去掉，然後重新運行代碼：

# coding:utf-8from lxml import etreeimport requestsurl = ‘https://music.douban.com/top250‘html = requests.get(url).texts = etree.HTML(html)title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()score = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()‘)[0]#因為要擷取文本，所以我需要這個當前路徑下的文本，所以使用/text()numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()‘)[0]#因為要擷取文本，所以我需要這個當前路徑下的文本，所以使用/text()print title,score,numbers

得到：

        We Sing. We Dance. We Steal Things.    9.1                 (                        100395人評價                )

3.擷取音樂連結

copy標題的xpath，：//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

想擷取音樂串連href這裡需要，擷取這個標籤屬於,/@xxx可以提取當前路徑標籤下的屬性值
//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a/@href

代碼：

# coding:utf-8from lxml import etreeimport requestsurl = ‘https://music.douban.com/top250‘html = requests.get(url).texts = etree.HTML(html)href = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()score = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()‘)[0]#因為要擷取文本，所以我需要這個當前路徑下的文本，所以使用/text()numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()‘)[0]#因為要擷取文本，所以我需要這個當前路徑下的文本，所以使用/text()print href,title,score,numbers

運行代碼得到：

https://music.douban.com/subject/2995812/             We Sing. We Dance. We Steal Things.        9.1                     (                            100395人評價                    )

5.擷取圖片地址：

找到圖片，複製他的xpath地址：//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[1]/a/img

運行代碼：

# coding:utf-8from lxml import etreeimport requestsurl = ‘https://music.douban.com/top250‘html = requests.get(url).texts = etree.HTML(html)href = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()score = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()‘)[0]#因為要擷取文本，所以我需要這個當前路徑下的文本，所以使用/text()numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()‘)[0]#因為要擷取文本，所以我需要這個當前路徑下的文本，所以使用/text()imgpath = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[1]/a/img/@src‘)[0]#因為要擷取文本，所以我需要這個當前路徑下的文本，所以使用/text()print href,title,score,numbers,imgpath

老套路：
得到結果:

https://music.douban.com/subject/2995812/             We Sing. We Dance. We Steal Things.        9.1                     (                            100395人評價                    )                https://img3.doubanio.com/spic/s2967252.jpg

但是這隻是擷取了一條資料，如果擷取多條資料呢？

擷取多條資料

我們再看第二條資料，第三條資料,第四條資料
得到他們的xpath:

# coding:utf-8from lxml import etreeimport requestsurl = ‘https://music.douban.com/top250‘html = requests.get(url).texts = etree.HTML(html)title = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()title2 = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[2]/tr/td[2]/div/a/text()‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()title3 = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[3]/tr/td[2]/div/a/text()‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()title4 = s.xpath(‘//*[@id="content"]/div/div[1]/div/table[4]/tr/td[2]/div/a/text()‘)[0]#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()print title,title2,title3,title4

得到：

        We Sing. We Dance. We Steal Things.        Viva La Vida        華麗的冒險        範特西

對比他們的xpath，發現只有table序號不一樣，我們可以就去掉序號，得到通用的xpath資訊：
運行代碼：

# coding:utf-8from lxml import etreeimport requestsurl = ‘https://music.douban.com/top250‘html = requests.get(url).texts = etree.HTML(html)titles = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()‘)#因為要擷取標題，所以我需要這個當前路徑下的文本，所以使用/text()for title in titles:    print title.strip()

得到：

We Sing. We Dance. We Steal Things.Viva La Vida華麗的冒險範特西後。青春期的詩是時候LenkaStart from Here旅行的意義太陽Once (Soundtrack)Not Going AnywhereAmerican IdiotOK無與倫比的美麗親愛的...我還不知道城市OWake Me Up When September Ends葉惠美七裡香21My Life Will...寓言你在煩惱什麼

其它的資訊如：連結地址，評分，評價人數都可以用同樣的辦法來擷取，現在我同時擷取多條資料，因為每頁資料是25條，所以：
完整代碼如下：

# coding:utf-8from lxml import etreeimport requestsurl = ‘https://music.douban.com/top250‘html = requests.get(url).texts = etree.HTML(html)hrefs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/@href‘)titles = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()‘)scores = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[2]/text()‘)numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[3]/text()‘)imgs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[1]/a/img/@src‘)for i in range(25):    print hrefs[i],titles[i],scores[i],numbers[i],imgs[i]

得到：
一大批資料了，我就不展示了。有興趣可以直接copy代碼運行.,注意你得裝上lxml與requests庫.

我們也發現了問題每一個xpath路徑特別長，能不能精簡一下呢？

#####5. 精簡一下xpath路徑

hrefs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/@href‘)titles = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()‘)scores = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[2]/text()‘)numbers = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[3]/text()‘)imgs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr/td[1]/a/img/@src‘)

觀察發現擷取幾個關鍵字段的xpath首碼都是 //*[@id="content"]/div/div[1]/div/table/tr 那我能不能把這些東西提出來呢，讓後面的不同的自己去追加，另外這樣寫也不用管每個頁面到底有多少條資料，只管查就行了。所以代碼做了一下精簡。

url = ‘https://music.douban.com/top250‘html = requests.get(url).texts = etree.HTML(html)trs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr‘)  #先提取tr之前的節點集合for tr in trs: #遍曆tr    href = tr.xpath(‘./td[2]/div/a/@href‘)[0]  #注意新節點是tr下的節點     title = tr.xpath(‘./td[2]/div/a/text()‘)[0]    score = tr.xpath(‘./td[2]/div/div/span[2]/text()‘)[0]    number = tr.xpath(‘./td[2]/div/div/span[3]/text()‘)[0]    img = tr.xpath(‘./td[1]/a/img/@src‘)[0]    print href,title,score,number,img

得到的結果和之前是一樣的。

但是，但是，這隻是一個頁面的資料，我現在想爬取多個頁面的資料，怎麼辦呢？

擷取個多頁面資料.

觀察一下翻頁路徑：
https://music.douban.com/top250?start=0
https://music.douban.com/top250?start=25
https://music.douban.com/top250?start=50

有沒有發現頁面只是後面start參數發生了改變，且增長為每次25，並且250條資料正好是10頁。
所以我可以遍曆這個頁面。
代碼：

for i in range(10):url = ‘https://music.douban.com/top250?start={}‘.format(i*25)print url

得到：

https://music.douban.com/top250?start=0https://music.douban.com/top250?start=25https://music.douban.com/top250?start=50https://music.douban.com/top250?start=75https://music.douban.com/top250?start=100https://music.douban.com/top250?start=125https://music.douban.com/top250?start=150https://music.douban.com/top250?start=175https://music.douban.com/top250?start=200https://music.douban.com/top250?start=225

正是自己要的結果。

好了最後我們把代碼拼裝在一起，並注意每個方法的用途。

完整代碼

# coding:utf-8from lxml import etreeimport requests#擷取頁面地址def getUrl():    for i in range(10):    url = ‘https://music.douban.com/top250?start={}‘.format(i*25)    scrapyPage(url)#爬取每頁資料def scrapyPage(url):    html = requests.get(url).text    s = etree.HTML(html)    trs = s.xpath(‘//*[@id="content"]/div/div[1]/div/table/tr‘)    for tr in trs:        href = tr.xpath(‘./td[2]/div/a/@href‘)[0]        title = tr.xpath(‘./td[2]/div/a/text()‘)[0]        score = tr.xpath(‘./td[2]/div/div/span[2]/text()‘)[0]        number = tr.xpath(‘./td[2]/div/div/span[3]/text()‘)[0]        img = tr.xpath(‘./td[1]/a/img/@src‘)[0]        print href, title, score, number, imgif  ‘__main__‘:    getUrl()

Python爬蟲：現學現用Xpath爬取豆瓣音樂