Python實現爬取知乎神回複簡單爬蟲代碼分享

看知乎的時候發現了一個 “如何正確地吐槽” 收藏夾，裡面的一些神回複實在很搞笑，但是一頁一頁地看又有點麻煩，而且每次都要開啟網頁，於是想如果全部爬下來到一個檔案裡面，是不是看起來很爽，並且隨時可以看到全部的，於是就開始動手了。

工具

1.Python 2.7
2.BeautifulSoup

分析網頁

我們先來看看知乎上該網頁的情況

網址：，容易看到，網址是有規律的，page慢慢遞增，這樣就能夠實現全部爬取了。

再來看一下我們要爬取的內容：

我們要爬取兩個內容：問題和回答，回答僅限於顯示了全部內容的回答，如下面這種就不能爬取，因為好像無法展開（反正我不會。。），再說答案不全的話爬來也沒用，所以就不爬答案不全的了吧。

好，那麼下面我們要找到他們在網頁原始碼中的位置：

即我們找到問題的內容包含在

中，那麼我們等會就可以在這個標籤裡面找問題。

然後是回複：

有兩個地方都有回複的內容，因為上面那個的內容還包括了等一些內容，不方便處理，我們爬下面那個的內容，因為那個裡面的內容純正無汙染。

代碼

好，這時候我們試著寫出python代碼：

代碼如下:

# -*- coding: cp936 -*-
import urllib2
from BeautifulSoup import BeautifulSoup

f = open('howtoTucao.txt','w') #開啟檔案

for pagenum in range(1,21): #從第1頁爬到第20頁

strpagenum = str(pagenum) #頁數的str表示
print "Getting data for Page " + strpagenum #shell裡面顯示的，表示已爬到多少頁
url = "http://www.zhihu.com/collection/27109279?page="+strpagenum #網址
page = urllib2.urlopen(url) #開啟網頁
soup = BeautifulSoup(page) #用BeautifulSoup解析網頁

#找到具有class屬性為下面兩個的所有Tag
ALL = soup.findAll(attrs = {'class' : ['zm-item-title','zh-summary summary clearfix'] })

for each in ALL : #枚舉所有的問題和回答
#print type(each.string)
#print each.name
if each.name == 'h2' : #如果Tag為h2類型，說明是問題
print each.a.string #問題中還有一個，所以要each.a.string取出內容
if each.a.string: #如果非空，才能寫入
f.write(each.a.string)
else : #否則寫"No Answer"
f.write("No Answer")
else : #如果是回答，同樣寫入
print each.string
if each.string:
f.write(each.string)
else :
f.write("No Answer")
f.close() #關閉檔案

代碼雖然不常，可是寫了我半天，開始各種出問題。

運行

然後我們運行就可以爬了：

結果

等運行完畢，我們開啟檔案howtoTucao.txt，可以看到，這樣就爬取成功了。只是格式可能還是有點問題，原來是我No Answer沒加換行，所以No Answer還會混到文本裡面去，加兩個換行就可以了。

