python for android : BeautifulSoup 有 bug

標籤：python   資料分析   極客   

BeautifulSoup 善於網頁資料分析 ，但是 python for android : BeautifulSoup 有 bug ，

text = h4.a.text 只能取得 None，所以我寫了function: getText() 來fix this bug.

例如: 抓取CSDN極客頭條內容  soup.py

import urllib2, refrom BeautifulSoup import BeautifulSoupimport sysreload(sys)sys.setdefaultencoding(‘utf-8‘)def getText(text):    begin = text.find(‘>‘,0)    if begin > -1:        begin += 1        end = text.find(‘</a>‘,begin)        if begin < end:            return text[begin:end].strip()        else:            return None    else:        return Nonepage = urllib2.urlopen("http://geek.csdn.net/new")soup = BeautifulSoup(page)for h4 in soup.findAll(‘h4‘):    if h4.a is not None:        href = h4.a.get(‘href‘)        text = getText(str(h4.a))        print text        print hrefpage.close()

請參考:   http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html