python爬蟲模組之HTML解析模組

標籤：class   IV   str   highlight   dem   比較   lis   就是   val   

這個就比較簡單了沒有什麼好強調的，如果返回的json 就是直接按照索引值取，如果是網頁就是用lxml模組的html進行xpath解析。

from lxml import htmlimport jsonclass GetNodeList():    def __init__(self):        self.getdivxpath="//div[@class=‘demo‘]"    def use_xpath(self,source):        if len(source):            root=html.fromstring(source) #html轉換成dom對象            nodelist=root.xpath(self.getdivxpath)#對dom對象進行xpath解析            if len(nodelist):                return nodelist            return None                def use_json(self, source,keyname):        if len(source):            jsonstr=json.loads(source)            value=jsonstr.get(keyname) #根據具體的索引值修改            if len(value):                return value            return None

　　

python爬蟲模組之HTML解析模組