python 簡單爬蟲

標籤：out   rom   res   port   skin   findall   擷取網頁   開啟   結果   

使用urllib.request 和re 模組
 1 from urllib.request import * 2 import re #處理網路訪問 3 #擷取網頁 4 url = ‘https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%C3%C0%C5%AE%CD%BC%C6%AC&fr=ala&ala=1&alatpl=adress&pos=0&hs=2&xthttps=111111‘ 5 #開啟網頁 6 hmtl = urlopen(url) 7 #擷取html代碼 ，decode 解碼 8 obj = hmtl.read().decode() 9 #使用re,找出所有的objURL連結  .*?匹配所有結果10 urls = re.findall(r‘"objURL":"(.*?)"‘,obj)11 index = 112 for url in urls:13     try:14         if re.search(‘.jpg$‘,url):15             print(‘downloading........%d‘%index)16             urlretrieve(url,‘pic‘ +str(index)+ ‘.jpg‘)17         else:18             print(‘downloading........%d‘ % index)19             urlretrieve(url, ‘pic‘ + str(index) + ‘.png‘)20         index += 121 22     except Exception:23         print(‘download error....%d‘%index)24     else:25         print(‘download complete‘)

 

爬取一張圖片

使用requests 模組
1 import requests2 image_url = ‘http://www.cnblogs.com/Images/Skins/BJ2008.jpg‘3 response = requests.get(image_url)4 with open(‘outlook.jpg‘,‘wb‘) as f:5     f.write(response.content)

 

python 簡單爬蟲