Python 爬蟲執行個體

標籤：htm   程式   pil   ref   nbsp   技術   .com   src   mpi   

下面是我寫的一個簡單爬蟲執行個體

1.定義函數讀取html網頁的原始碼

2.從原始碼通過Regex挑選出自己需要擷取的內容

3.序列中的htm依次寫到d盤

#!/usr/bin/pythonimport reimport urllib.request#定義函數讀取html網頁的原始碼def getHtml(url):    page = urllib.request.urlopen(url)    html = page.read()    return html#從原始碼通過Regex挑選出自己需要擷取的內容def getImg(html):    reg = r‘href="(.*?\.htm)"‘    imgre = re.compile(reg)    implist = re.findall(imgre,html)#序列中的htm依次寫到d盤    x = 0    for imgurl in implist:        urllib.request.urlretrieve(imgurl, ‘D:\htm\%s.htm‘ % x)        x += 1html = getHtml("http://www.10086.cn/hb/index_270_719.html")html = html.decode(‘utf-8‘)print(getImg(html))

　運行程式結果：

 

　

 

Python 爬蟲執行個體