python編寫簡單爬蟲資料匯總

　　爬蟲真是一件有意思的事兒啊，之前寫過爬蟲，用的是urllib2、BeautifulSoup實現簡單爬蟲，scrapy也有實現過。最近想更好的學習爬蟲，那麼就儘可能的做記錄吧。這篇部落格就我今天的一個學習過程寫寫吧。

一 Regex

　　Regex是一個很強大的工具了，眾多的文法規則，我在爬蟲中常用的有：

.	匹配任一字元（分行符號除外）
*	匹配前一個字元0或無限次
?	匹配前一個字元0或1次
.*	貪心演算法
.*?	非貪心演算法
（.*?)	將匹配到的括弧中的結果輸出
\d	匹配數字
re.S	使得.可以匹配分行符號

　　常用的方法有：find_all()，search()，sub()

　　對以上文法方法做以練習，代碼見：https://github.com/Ben0825/Crawler/blob/master/re_test.py

二 urllib和urllib2

　　urllib和urllib2庫是學習Python爬蟲最基本的庫，利用該庫，我們可以得到網頁的內容，同時，可以結合正則對這些內容提取分析，得到真正想要的結果。

　　在此將urllib和urllib2結合正則爬取了糗事百科中的作者點贊數內容。

　　代碼見：https://github.com/Ben0825/Crawler/blob/master/qiubai_test.py

三 BeautifulSoup

　　BeautifulSoup是Python的一個庫，最主要的功能是從網頁抓取資料，官方介紹是這樣的：
　　Beautiful Soup 提供一些簡單的、python 式的函數用來處理導航、搜尋、修改分析樹等功能。它是一個工具箱,通過解析文檔為使用者提供需要抓取的資料,因為簡單,所以不需要多少代碼就可以寫出一個完整的應用程式。
　　Beautiful Soup 自動將輸入文檔轉換為 Unicode 編碼,輸出文檔轉換為 utf-8 編碼。你不需要考慮編碼方式,除非文檔沒有指定一個編碼方式,這時,Beautiful Soup 就不能自動識別編碼方式了。然後,你僅僅需要說明一下原始編碼方式就可以了。
　　Beautiful Soup 已成為和 lxml、html6lib 一樣出色的 python 解譯器,為使用者靈活地提供不同的解析策略或強勁的速度。

　　首先：爬取百度百科Python詞條下相關的100個頁面，爬取的頁面值自己設定。

　　代碼詳見：https://github.com/Ben0825/Crawler/tree/master/python_baike_Spider

　　代碼運行：

　　

　　　　　　　

　　鞏固篇，依據豆瓣中圖書的標籤得到一個書單，同樣使用BeautifulSoup。

　　代碼詳見：https://github.com/Ben0825/Crawler/blob/master/doubanTag.py

　　運行結果：　　

　　　以上就是今天學習的一些內容，爬蟲真的很有意思啊，明天繼續學scrapy!

