python編寫的簡易爬蟲

用python寫簡單的爬蟲還是很快的。以前看到別人吐槽python程式就是import，倒也無可厚非。

程式需要用到內建的urllib庫和re庫。urllib抓取網頁。re實現正則的匹配。

隨便搜的一個百度的貼吧，通過瀏覽器審查元素後發現每個jpg格式的圖片對應的匹配規則是r'src="(.+\..jpg)" pic'。

上代碼。

import urllibimport redef getPage(url):    page = urllib.urlopen(url).read()   # fetch the html content    return pagedef getImg(page):    marker = r'src="(.+?\.jpg)" pic'    # re rule     imgre = re.compile(marker)    imglist = imgre.findall(page)       #re match    num = 0    for imgurl in imglist:        urllib.urlretrieve(imgurl,'D:\\temp\\%s.jpg' % num)        num = num + 1url = "http://tieba.baidu.com/p/3606227965"getImg(getPage(url))

這個部落格Python爬蟲實戰四實現的爬蟲功能更強，有心情也順便看看了。