python爬蟲入門教程之糗百圖片爬蟲代碼分享

學習python少不了寫爬蟲，不僅能以點帶面地學習、練習使用python，爬蟲本身也是有用且有趣的，大量重複性的下載、統計工作完全可以寫一個爬蟲程式完成。

用python寫爬蟲需要python的基礎知識、涉及網路的幾個模組、Regex、檔案操作等知識。昨天在網上學習了一下，寫了一個爬蟲自動下載「糗事百科」裡面的圖片。原始碼如下：

代碼如下:

# -*- coding: utf-8 -*-
# 上面那句讓代碼裡支援中文

#---------------------------------------
# 程式：糗百圖片爬蟲
# 版本：0.1
# 作者：趙偉
# 日期：2013-07-25
# 語言：Python 2.7
# 說明：能設定下載的頁數。沒有做更多抽象和互動方面的最佳化。
#---------------------------------------

import urllib2
import urllib
import re

#Regex，用來抓取圖片的地址
pat = re.compile('\\n')

#用來合成網頁的URL
nexturl1 = "http://m.qiushibaike.com/imgrank/page/"
nexturl2 = "?s=4582487&slow"

#頁數計數
count = 1

#設定抓取的頁數
while count < 3:

print "Page " + str(count) + "\n"
myurl = nexturl1 + str(count) + nexturl2
myres = urllib2.urlopen(myurl)#抓取網頁
mypage = myres.read()#讀取網頁內容
ucpage = mypage.decode("utf-8") #轉碼

mat = pat.findall(ucpage)#用Regex抓取圖片地址

count += 1;

if len(mat):
for item in mat:
print "url: " + item + "\n"
fnp = re.compile('/(\w+\.\w+)$')#下面三行分離出圖片檔案的名稱
fnr = fnp.findall(item)
fname = fnr[0]
urllib.urlretrieve(item, fname)#下載圖片

else:
print "no data"

使用方法：建立一個practice檔案夾，將原始碼儲存為qb.py檔案，並放在practice檔案夾中，在命令列裡執行python qb.py，即開始下載圖片。可以修改原始碼裡面的while語句設定下載的頁數。

