python——爬蟲&問題解決&思考(四),python爬蟲

來源:互聯網
上載者:User

python——爬蟲&問題解決&思考(四),python爬蟲

  繼續上一篇文章的內容,上一篇文章中已經將url管理器和下載器寫好了。接下來就是url解析器,總的來說這個模組是幾個模組中比較難的。因為通過下載器下載完頁面之後,我們雖然得到了頁面,但是這並不是我們想要的結果。而且由於頁面的代碼很多,我們很難去裡面找到自己想要的資料。所幸,我們下載的是html頁面,它是一種由多個多層次的節點群組成的樹型結構的文字檔。所以,相較於txt檔案,我們更加容易定位到我們要找的資料區塊。現在我們要做的就是去原頁面去分析一下,我們想要的資料到底在哪。

  開啟百度百科pyton詞條的頁面,然後按F12調出開發人員工具。通過使用工具,我們就能定位到頁面的內容:

  這樣我們就找到了我們想要的資訊處在哪個標籤裡了。

 1 import bs4 2 import re 3 from urllib.parse import urljoin 4 class HtmlParser(object): 5     """docstring for HtmlParser""" 6     def _get_new_urls(self, url, soup): 7         new_urls = set() 8         links = soup.find_all('a', href = re.compile(r'/item/.')) 9         for link in links:10             new_url = re.sub(r'(/item/)(.*)', r'\1%s' % link.getText(), link['href'])11             new_full_url = urljoin(url, new_url)12             new_urls.add(new_full_url)13         return new_urls14 15     def _get_new_data(self, url, soup):16         res_data = {}17         #url18         res_data['url'] = url19         #<dd class="lemmaWgt-lemmaTitle-title">20         title_node = soup.find('dd', class_ = "lemmaWgt-lemmaTitle-title").find('h1')21         res_data['title'] = title_node.getText()22         #<div class="lemma-summary" label-module="lemmaSummary">23         summary_node = soup.find('div', class_ = "lemma-summary")24         res_data['summary'] = summary_node.getText()25         return res_data26 27     def parse(self, url, html_cont):28         if url is None or html_cont is None:29             return 30         soup = bs4.BeautifulSoup(html_cont, 'lxml')31         new_urls = self._get_new_urls(url, soup)32         new_data = self._get_new_data(url, soup)33         return new_urls, new_data

  解析器只有一個外部方法就是parse方法,

    a.首先它會接受url, html_cont兩個參數,然後進行判斷頁面內容是否為空白

    b.調用bs4模組的方法來解析網頁內容,'lxml'為文檔解析器,預設的為html.parser,bs官方推薦我們用lxml,那就聽它的吧,誰讓人家是官方呢。

    c.接下來就是調用兩個內建函式來擷取新的url列表和資料

    d.最後將url列表和資料返回

  這裡有一些注意點

    1.bs的方法調用還有一個參數,from_encoding 這個和我在下載器那裡的重複了,所以我就取消了,兩個的功能是一樣的。

    2.擷取url列表的內部方法,需要用到Regex,這裡我也是摸著石頭過河,不是很會,中間也調試過許多次。

    3.資料是放在字典中的,這樣可以通過key來增改刪除資料。

 

最好,就直接資料輸出了,這個比較簡單,直接上代碼。

  

 1 class HtmlOutputer(object): 2     """docstring for HtmlOutputer""" 3     def __init__(self): 4         self.datas = [] 5     def collect_data(self, new_data): 6         if new_data is None: 7             return 8         self.datas.append(new_data) 9     def output_html(self):10         fout = open('output1.html', 'w', encoding = 'utf-8')11         fout.write('<html>')12         fout.write('<head><meta charset="utf-8"></head>')13         fout.write('<body>')14         fout.write('<table>')15         for data in self.datas:16             fout.write('<tr>')17             fout.write('<td>%s</td>' % data['url'])18             fout.write('<td>%s</td>' % data['title'])19             fout.write('<td>%s</td>' % data['summary'])20             fout.write('</tr>')21         fout.write('</table>')22         fout.write('</body>')23         fout.write('</html>')24         fout.close()

  這裡也有兩個注意點

    1.fout = open('output1.html', 'w', encoding = 'utf-8'),這裡的encoding參數一定要加,不然會報錯,在windows平台,它預設是使用gbk編碼來寫檔案的。

    2.fout.write('<head><meta charset="utf-8"></head>'),這裡的meta標籤也要加上,因為要告訴瀏覽器使用什麼編碼來渲染頁面,這裡我一開始沒加弄了很久,我開啟頁面的內容,發現裡面是中文的,結果瀏覽器展示的就是亂碼。總的來說,因為整個頁面採集過程結果好幾個模組,所以編碼問題要非常小心,不然少不留神就會出錯。

 

  最後總結,這段程式還有許多方面可以深入探討:

  1.頁面的資料量過小,我嘗試了10000個頁面的爬取。一旦資料量劇增之後,就會帶來一下問題,第一是待爬取url和已爬取url就不能放在set集合中了,要麼放到radi快取服務器裡,要麼放到mysql資料庫中

  2.第二,資料也是同樣的,字典也滿足不了了,需要專門的資料庫來存放

  3.第三量上去之後,對爬取效率就有要求了,那麼多線程就要加進來

  4.第四,一旦布置好任務,單台伺服器的壓力會過大,而且一旦宕機,風險很大,所以分布式的高可用架構也要跟上來

  5.一方面是頁面的內容過於簡單,都是靜態頁面,不涉及登入,也不涉及ajax動態擷取

  6.這隻是資料擷取,後續還有建模,分析…………

綜上所述,路還遠的很呢,加油!

 

  

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.