用Python編寫自動下載網路小說的指令碼

很多網站都有長篇連載或是分章節的小說可供線上閱讀，但如果想要將所有章節下載下來並整理成一個格式良好的文字檔，則是很費功夫的。幸好可以用Python指令碼來自動完成所有的工作。下面的兩個指令碼，將用來示範下載“當時明月”在新浪blog中連載的《明朝的那些事兒－曆史應該可以寫得好看》這一長篇曆史小說。

第一個指令碼時getlink.py，它的功能是擷取各章節的連結。開啟“當時明月”的blog，點擊“我的所有文章”，作者所有發表的文章將被分頁列出，其中標題形如“.?長篇.?明朝的那些事兒－曆史應該可以寫得好看\[(\d*)-(\d*)\]”都是該長篇的章節。getlink.py所要做的就是將這些章節及相應連結儲存到links.dat中備用。
getlink.py

 1#-*- coding: utf-8 -*-
 2import urllib,re,os,sys,pickle
 3from xml.dom.minidom import parse
 4import xml.dom.minidom
 5
 6uid='1233526741' #當時明月的ID
 7
 8#讀取章節及對應的連結
 9chapters={} #儲存章節及連結，如chapters['0001-0010']='/u/49861fd5010003ii'
10for i in range(1,100):
11    filehandle = urllib.urlopen('http://blog.sina.com.cn/sns/service.php?m=aList&uid=%s&sort_id=0&page=%d' % (uid,i))
12    myDoc = parse(filehandle)
13    myRss = myDoc.getElementsByTagName("rss")[0]
14    items = myRss.getElementsByTagName("item")
15    for item in items:
16        title=item.getElementsByTagName("title")[0].childNodes[0].data
17        link=item.getElementsByTagName("link")[0].childNodes[0].data
18        match= re.search(ur'.?長篇.?明朝的那些事兒－曆史應該可以寫得好看\[(\d*)-(\d*)\]',title)
19        if match:
20            #print   match.group(1),":",match.group(2)
21            chapters['%04d-%04d' % (int(match.group(1)),int(match.group(2)))]=item.getElementsByTagName("link")[0].childNodes[0].data
22
23# 將chapters儲存到檔案中以備用 
24output = open('links.dat', 'wb+')
25pickle.dump(chapters, output)
26output.close()

當取得links.dat後，下面利用bookdownload.py將所有章節的內容下載下載並整理成最後的全文檔案mingthings.txt。這一指令碼的關鍵時第19行，從下載的內容中取得每一篇的實際內容（去除廣告、指令碼等）。通過分析每篇文章的html源檔案發現，我們所要的東西都位於<div id="articleTextxxxxxxxxxxxxxxxx">...</div>中，其中xxxxxxxxxxxxxxxx即為該文連結，因此用Regex即可擷取該篇的實際內容。

bookdownload.py 1#-*- coding: utf-8 -*-
 2import urllib,re,os,sys,pickle
 3from xml.dom.minidom import parse
 4import xml.dom.minidom
 5
 6uid='1233526741' #當時明月的ID
 7
 8#讀取章節及對應的連結
 9chapters={} #儲存章節及連結，如chapters['0001-0010']='/u/49861fd5010003ii'
10links = open('links.dat', 'rb+')#links.dat由getlinks.py產生
11chapters=pickle.load(links)#從links.dat讀取章節及對應連結資訊到chapters
12
13book=open('mingthings.txt','w+') #mingthings.txt即為最終要產生的全文
14for chapter in sorted(chapters):
15    print chapter #輸出當前正在處理的章節
16    webpage=urllib.urlopen('http://blog.sina.com.cn'+chapters[chapter]).read().decode('utf-8')
17
18    # s: Dot match new line; i: Case insenstive; m: ^$ match at linebreaks 
19    match=re.search(ur'(?siLu).*<div id="articleText'+chapters[chapter][3:]+'".*?>(.*?)</div>.*',webpage)
20    if match:
21        text=match.group(1) #擷取每章的內容 
22        
23        #整理每章內容
24        text=re.sub(ur'(?sLu)<(.*?)>','',text)
25        text=re.sub(ur'(?sLu)(&nbsp;)+',' ',text)
26        text=re.sub(ur"(?Lum)^(　+)", "", text)
27        text=re.sub(ur'(?Lum)^(\s+)','',text)
28        text=re.sub(ur'(?siLu)(.?長篇.?明朝的那些事兒－曆史應該可以寫得好看\[\d*])',r'\r\n\1\r\n',text)
29        text=re.sub(ur'(?Lum)^(.*)$',ur'　　\1',text) 
30
31        book.write(text.encode('gbk','ignore')+"\r\n\r\n")
32        book.flush
33        
34book.close()

每天依次運行一遍上面的兩個指令碼，《明朝的那些事兒－曆史應該可以寫得好看》的最新全文就在你的硬碟上了。

總之，Regex是下載長篇分章節網路小說的利器。