【含代碼】Python爬蟲實戰:爬取全站小說熱門排行榜,

來源:互聯網
上載者:User

【含代碼】Python爬蟲實戰:爬取全站小說熱門排行榜,

喜歡看小說的騷年們都知道,總是有一些小說讓人耳目一新,不管是仙俠還是玄幻,前面更了幾十章就成功圈了一大波粉絲,成功攀上飆升榜,熱門榜等各種榜,扔幾個栗子出來:



       

新筆趣閣是廣大書友最值得收藏的網路小說閱讀網,網站收錄了當前......我就不打廣告了(其他滿足下文條件的網站也行,之前已經有做過簡單爬取章節的先例了,但效果不太理想,有很多不需要的成分被留下了,來連結:http://python.jobbole.com/88560/。我們本文就爬取這個網站的上千本小說。重點在和大家一起分享一些爬蟲的思路和一些很常遇到的坑。


本文的行文脈絡:
1、先構造一個單本的小爬蟲練練手;
2、簡要分享一下安裝MongoBD資料庫時的幾個易錯問題;
3、運用Scrapy架構爬取新筆趣閣全站熱門排行榜。


一、爬取單本小說


爬取該網站相對來講還是很容易的,開啟編輯器(推薦使用PyCharm,功能強大),首先引入模組urllib.request(Python2.x的引入urllib和urllib2即可,待會我把2.x的也寫出來給大家看看),給出網站URL,寫下請求,再添加要求標頭(雖然這個網站不封號,但作者建議還是要養成每次都寫要求標頭的習慣,萬一那天碰到像豆瓣似的網站,一不留神就把你封了)話不多說,直接:


      

然後再將請求發送出去,定義變數response,用read()方法觀察,注意將符號解碼成utf-8的形式,省的亂碼:



列印一下看結果:


      

看到這麼一大條就對嘍,對比一下網頁源碼,發現是一致的。


     

這步觀察很重要,因為這就說明該網站沒有使用AJAX非同步載入,否則就要開始抓包的工作了,這個我們留著分析動態網站時候再說。建議大家在沒有更好的方法時使用。之前記得確實有直接判斷的方法,然而一不小心忘記了,有知道的讀者還請發給我哦。


我們現在得到了網站的response,接下來就是對我們想要擷取的資料進行解析、提取,但等等,考慮到我們要爬取大量小說,不搞一個資料庫儲存真是太失敗了,作者推薦MongoDB資料庫,屬於NOSQL類型資料庫,以文檔儲存為主,這裡用來爬小說真是太適合不過了。但安裝起來需要一定的程式,想要試著做做的騷年可以參考一下下載和安裝教程,參考連結:http://blog.csdn.net/u011262253/article/details/74858211,在安裝好後為方便啟動,可以添加環境變數,但這裡有個坑,你要先開啟mongod(注意是mongodb,別一上來就開啟mongo),然後需要準確添加dbpath路徑,不然開啟很容易就會失敗,:


失敗狀態


成功狀態


添加路徑後成功串連,出現waiting for connections on port 27017,則表示資料庫連接成功,而後就不要關掉這個終端了,只有保持資料庫是串連的,才可運行MongoDB資料庫(不然報錯你都不知道自己是怎麼死的)


好了,串連好資料庫後,我們將資料庫與編輯器進行互動連結,位置很隱秘,在File>>Settings>>Plugins下添加組件Mongo Plugin,沒有就下載一個:



盜個圖


我們在編輯器內編寫代碼,引入Python專門用來與MongoDB互動的模組pymongo,然後在最上面連結MongoDB資料庫的連接埠,預設是27017,我們先建立一個叫做reading的資料庫,然後在reading內建立一個叫做sheet_words的資料表,代碼如下:



我們先找一個叫做《修羅武神》的小說來練練手,個人來講,我很討厭看小說時來回的翻頁,有時候還跳出廣告,這時候我還得返回去重新翻頁,作為一名懶得不行的懶人,我想到要是把整部小說放進一個文檔裡再看不就好了麼,但要是一章一章的複製粘貼我想還是算了吧,這時候你就知道爬蟲是有多麼便捷了。好,現在我們要做的是把《修羅武神》這部小說完整的爬取下來,並在資料庫中備份。我們回到剛才停留的地方,在得到response後,我們應該選用一種方法來解析網頁,一般的方法有re,xpath,selector(css),建議新手使用xpath而不是re,一是因為re用不好很容易導致錯誤,“當你決定用Regex解決問題時,你有了兩個問題。”,相比較xpath才是步驟明確,十分穩妥;二是在Firefox,Chrome等瀏覽器中可以直接複製xpath路徑,大大的減少了我們的工作量,:



如果你決定使用xpath之後,我們需要從lxml中引入etree模組,然後就可以用etree中的HTML()方法來解析網頁了,從網頁>檢察元素(F12)中複製下來我們所需資料的路徑,我選擇的是小說每章的標題和內容,,:



路徑//div[@class="readAreaBox content"]/h1/text()



路徑/html/body/div[4]/div[2]/div[2]/div[1]/div[2]/text()


注意注意,又來一個坑,當你複製xpath時得到的是這個東東:
//div[@class="readAreaBox content"]/h1
和這個東東;
/html/body/div[4]/div[2]/div[2]/div[1]/div[2]


但你需要的是這個路徑裡的文本text,故我們需要另外添加具體文本:/text(),然後就像上面那樣啦。上代碼,查資料:



完整代碼見百度網盤:
連結:https://pan.baidu.com/s/1jHYNF86密碼:ho9d


小說有點大,一共是三千五百章,等個大約4-7分鐘吧,開啟檔案夾《修羅武神小說》,就可以看到我們下載好的無需翻頁的一整部小說,資料庫內頁備份好了每章的連結,它自動從零開始排的,就是說你要看第30章就得開啟序號為29的連結,這個調一下下載時的順序就好了,作者很懶,想要嘗試下的讀者可以自行更改。


小說文本


 資料庫連接


看看,感覺還不錯吧,好的小例子講完了,接下來我們準備進入正題。


我們要像上面的例子那樣爬取整個網站,當然這裡就不再建議使用普通的編輯器來來執行了,聰明的讀者已經發現,一部小說爬了4分鐘,那麼上千本不說,單單是一組熱門排行榜裡的100本就夠爬好一會了,這就顯示出Scripy架構的作用,用專門的Scripy架構寫工程類爬蟲絕對快速省力,是居家寫蟲的必備良藥哇。


二、爬取小說榜所有小說


首先安裝Scrapy的所有組件,建議除pywin32以外都用pip安裝,不會的話度娘吧,很簡單的,pywin32需要下載與你所用Python版本相同的安裝檔案。
來串連:https://sourceforge.net/projects/pywin32/


Scrapy外掛程式安裝成功


然後還是老規矩,不想每次終端運行都一點一點找路徑的話,就將根目錄添加到環境變數,然後開啟終端,我們測試一下是否安裝成功:


 Scrapy安裝成功


好,安裝完畢後,開啟終端,建立一個Scrapy工程,這裡你可以根據索引,選擇使用Scrapy的各種功能,這裡不一一詳解了,D盤內已經出現了我們建立好的Scrapy工程檔案夾:




開啟檔案夾,我們會看到Scrapy架構已經自動在reading檔案夾中放置了我們所需的一切原材料:


開啟內部reading檔案夾,就可以在spiders檔案夾中添加爬蟲py代碼檔案了:



我們這裡定向爬小說熱門排行榜,除了我們寫的spider檔案,還要在items.py中定義我們要爬取的內容集,有點像詞典一樣,名字可以隨便取,但已有的繼承類scrapy.Item可不能改,這是Scrapy內部自訂的類,改了它可找不到,spider就用我們上面抓取單本再加一個for迴圈就OK了,十分簡單,一言不合就:


爬蟲檔案


爬取的小說熱門排行榜


每個熱門排行榜上大約20本小說


每部小說的爬取情況(用的是.json格式)


小說顯示內容


想要完整代碼的騷年們,在公眾號對話方塊內回複關鍵詞:小說 即可見百度網盤連結:


至此,我們所需的資料就都爬取完了,它們都按照相應的檔案夾目錄放置好在相應位置,適合條理性的觀看。

分享朋友圈 也是另一種讚賞

The more we share, The more we have

 

歡迎加入資料君高效資料分析社區


加我私人進入大資料乾貨群:tongyuannow 








目前100000+人已關注加入我們

       

       






相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.