python 自動下載網站相關附件

標籤：python autoweb download urllib

論壇裡有人問如何寫個簡單的爬蟲. 要求如下:

每天的最新文章裡面的附件

如何做到

定時下載

#看了一下這個網站, 還好. 好久沒折騰過 urllib什麼的, 然後寫了一個, 測試可以.

在正則匹配時, 建議把資料的編碼方式轉為指令碼編碼方式一致.

指令碼如下:

#!/usr/bin/env python#-*- coding:utf-8 -*-import urllibimport reurl = "http://www.bjjy.gov.cn"def get_html_data(u):    h = urllib.urlopen(u).read()    t = ""    for i in h.split("\n"):        try:            t += "\n" + i.decode(‘gbk‘).encode(‘utf-8‘)        except:            pass    return t    def get_link(data):    d, link = re.findall(r‘最新文章標題開始(.*)最新文章標題結束‘, data, re.S), []    if len(d):        s = re.findall(r‘<A HREF="([^"].*)" TARGET="_blank"‘, d[0], re.I)        if len(s):            for i in s:                link.append(i)    return linkif __name__ == "__main__":    html = get_html_data(url)    f_link = get_link(html)    for i in f_link:        tmp_data = get_html_data(url + i)        tmp_link = re.findall(r‘<a href="([^"].*)"><span style‘,tmp_data, re.I)        if len(tmp_link):            for j in tmp_link:                urllib.urlretrieve(url+j, (url+j).split("/")[-1])

上面要匹配 最新文章 那個地方, 之前沒有把資料轉碼,就是不行.

以上指令碼加個定時任務OK.

python 自動下載網站相關附件