Python爬蟲學習（1）

標籤：highlight   odi   findall   +=   lib   建立   正則   exists   post   

接觸python不久，也在慕課網學習了一些python相關基礎，對於爬蟲初步認為是依靠一系列正則擷取目標內容資料

於是參照著慕課網上的教學視頻，完成了我的第一個python爬蟲，雞凍 >_<

# !/usr/bin/env python# -*- coding: UTF-8 -*-# addUser: Gao# addTime: 2018-01-27 23:06# description: python爬蟲練習import urllib2, re, os# 擷取目標網址TargetUrl = ‘https://www.imooc.com/course/list‘# 擷取資料儲存路徑FileName = ‘Download‘"""儲存圖片"""def saveImg(imgUrl, imgName=‘img.jpg‘):    # 圖片路徑    imgPath = os.path.join(FileName, imgName)    # 擷取路徑片資訊    req = urllib2.urlopen(imgUrl)    buf = req.read()    # 寫入檔案    with open(imgPath, ‘wb+‘) as f:        f.write(buf)"""判斷檔案夾是否存在"""if not os.path.exists(os.path.join(os.getcwd(), FileName)):    # 建立檔案夾    os.mkdir(os.path.join(os.getcwd(), FileName))# 擷取目標網址內容result = urllib2.urlopen(TargetUrl)urlData = result.read()# 正則匹配擷取圖片地址imgList = re.findall(r‘src="(.+?\.jpg)‘, urlData)"""迴圈儲存圖片"""i = 0for imgUrl in imgList:    saveImg(‘https:‘+imgUrl, ‘python_‘+str(i)+‘.jpg‘)    i += 1

　　

Python爬蟲學習（1）