python爬蟲 ----文章爬蟲（合理處理字串中的\n\t\r........）

標籤：replace   src   去掉   page   ffffff   img   gb2312   back   range   

import urllib.requestimport reimport timenum=input("輸入日期（20150101000）：")def openpage(url):    html=urllib.request.urlopen(url)        page=html.read().decode(‘gb2312‘)        return pagedef getpassage(page):    passage = re.findall(r‘<p class="MsoNormal" align="left">([\s\S]*)</FONT>‘,str(page))        passage1=re.sub("</?\w+[^>]*>", "", str(passage))        passage2=passage1.replace(‘\\r‘, ‘\r‘).replace(‘\\n‘, ‘ \n‘).replace(‘\\t‘,‘\t‘).replace(‘]‘,‘‘).replace(‘[‘,‘‘).replace(‘&nbsp;‘,‘   ‘)    print(passage2)    with open(load,‘a‘,encoding=‘utf-8‘) as f:        f.write("-----------------------------"+"日期"+str(date)+"---------------------------------\n"+passage2+"----------------------------------------------------\n")for i in range(1,32):    date=int(num)+int(i)    print(date)    load="C:/Users/home/Desktop/建立文字文件.txt"    url=("http://www.hbuas.edu.cn/news/xyxw/news_"+str(date)+".htm")    
　　
    try:        page=openpage(url)        getpassage(page)        print("第"+str(i)+"號有文章，----已下載")    except:        print("第"+str(i)+"號無文章。")    time.sleep(2)

 

寫了一個爬學校新聞網的爬蟲，

主要涉及   re正則   urllib.request   檔案的寫入  

在爬取文章時通常會返回很多影響美感的代碼

 如下：

 

 最佳化：

兩次正則    

passage = re.findall(r‘<p align="left">([\s\S]*)</FONT>‘,str(page))       #第一次匹配欄位    passage1=re.sub("</?\w+[^>]*>", "", str(passage))　　　　　　　　　　　　　　# 第二次去掉html標籤

替換

passage2=passage1.replace(‘\\r‘, ‘\r‘).replace(‘\\n‘, ‘ \n‘).replace(‘\\t‘,‘\t‘).replace(‘]‘,‘‘).replace(‘[‘,‘‘).replace(‘ ‘,‘   ‘)

效果如下：

 

over！

python爬蟲 ----文章爬蟲（合理處理字串中的\n\t\r........）