Python學習之簡單網頁爬蟲

標籤：adl   案例   readline   \n   ref   body   簡單   lin   爬取   

0x00案例   爬取部落格園某頁面的所有圖片並下載到本地

連續搞了一周的python，收穫頗多，主要還是鍛煉了自己的脾氣。。。話不多說，先貼上指令碼

#coding:utf-8import urllib2import reurl="https://www.cnblogs.com/peterpan0707007/p/7620048.html"headers={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64; rv:59.0) Gecko/20100101 Firefox/59.0‘}req=urllib2.Request(url,headers=headers)resp=urllib2.urlopen(req).read()data=re.compile(r‘http:.+\.png‘).findall(resp)　　#正則匹配png圖片#print datafor i in data:    with open(‘result.txt‘,‘a‘) as fw:        fw.write(i+‘\n‘)        with open(‘result.txt‘,‘r‘) as fr:    for line in fr.readlines():        response=urllib2.urlopen(line).read()        filename=line.strip(‘\n‘).split(‘-‘)[2]+‘.png‘        with open(filename,‘wb‘) as fw:            fw.write(response)    print ‘done‘

運行結果

 

Python學習之簡單網頁爬蟲