python一步一步解析成語

做NLPproject時需要一個成語庫，我需要的是純成語，網上找的都是有詳細解釋的。於是自己寫了一個爬成語的python程式。

1、首先找到一個線上成語網站

　　我選的網站是http://chengyu.itlearner.com/，選擇它的原因是它把不同開頭字母的成語分開，不同的字母和頁所在的URL不同，是靜態網頁，比如A開頭的第一頁的連結是：http://chengyu.itlearner.com/list/A_1.html，所以我只要遍曆各個字母開頭的每頁就可以了。

2、查看網頁結構，定義正則式

　　看一下要抓的成語的標籤有什麼特點，查看源碼，可以發現要抓的成語都在<a>標籤中，如:<a href="/cy0/93.html">安如磐石</a>，成語事實上就是一個瞄文本，不同成語指向的連結不同，其實也就"/cy0/93.html"中的數字不同，所以正則式裡匹配兩次數字就行了，定義正則式 reg =   "<a href=\"/cy(\d+)/(\d+).html\">(.*?)</a>"。

3、上代碼吧

#anthor jiqunpeng#time 20121124import urllibimport redef getHtml(url): #從URL中讀取html內容    page = urllib.urlopen(url)     html = page.read()     page.close()     return htmldef getDictionary(html): #匹配成語    reg = "<a href=\"/cy(\d+)/(\d+).html\">(.*?)</a>"       dicList = re.compile(reg).findall(html)    return dicListdef getItemSite():#手工把每個字母開頭的頁面數統計下來    itemSite = {}#申明為空白字典    itemSite["A"] = 3    itemSite["B"] = 21    itemSite["C"] = 19    itemSite["D"] = 18    itemSite["E"] = 2    itemSite["F"] = 14    itemSite["G"] = 13    itemSite["H"] = 15    itemSite["J"] = 23    itemSite["K"] = 6    itemSite["L"] = 15    itemSite["M"] = 12    itemSite["N"] = 5    itemSite["O"] = 1    itemSite["P"] = 6    itemSite["Q"] = 16    itemSite["R"] = 8    itemSite["S"] = 26    itemSite["T"] = 12    itemSite["W"] = 13    itemSite["X"] = 16    itemSite["Y"] = 35    itemSite["A"] = 21    return itemSite    if __name__== "__main__":    dicFile = open("dic.txt","w+")#儲存成語的檔案    domainsite = "http://chengyu.itlearner.com/list/"    itemSite = getItemSite()    for key,values in itemSite.items():        for index in range(1,values+1):            site = key +"_"+str(index)+".html"                          dictionary = getDictionary(getHtml(domainsite+site))            for dic in dictionary:                dicFile.write(dic[2]+"@@CY\n")#標記為成語，分詞時使用        print key+'字母成語抓取完畢'            dicFile.close()        print '全部成語抓取完畢'        

把成語儲存在了txt文本中，還添加了一個尾碼標籤。這個方法太笨了，應該可以自動尋找下一頁，而不是我先確定好頁面數量。以後有時間再整，最近project+考試。

　　最後注意，設計Regex時可能會出現明明認為是正確的，就是匹配不了，對空白字元要留意，比如說要解析：

<div class="avatar_name">                <a href="/u/kkun/" title="kkun">kkun</a>            </div>

你看不出第一行與第二行的空白字元是什麼，可以index = html.find('avatar_name')，html[4677:4677+100]看到非空白字元