Python 爬蟲App版Json解析的例子

 

一：我們通過charles抓包一段app請求，從伺服器返回json資料，通過chrome外掛程式jsonView 美化json代碼 如圖

 

我們希望抓起id和name

2：在pycharm環境下編寫我們的代碼

# -*- coding: utf-8 -*- __author__ = 'itiwin'import requestsimport jsonimport osimport sysimport timeimport tracebackimport MySQLdbreload(sys)sys.setdefaultencoding("utf-8") conn= MySQLdb.connect(host='localhost',port = 3306,user='root',passwd='root',db ='db_expert',)conn.set_character_set('utf8')cur = conn.cursor()cur.execute('SET NAMES utf8;')cur.execute('SET CHARACTER SET utf8;')cur.execute('SET character_set_connection=utf8;')cur.close() headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Encoding': 'gzip, deflate, compress','Accept-Language': 'en-us;q=0.5,en;q=0.3','Cache-Control': 'max-age=0','Connection': 'keep-alive','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.65 Safari/537.36'}session=requests.session();session.headers.update(headers)def getNav():    url = 'http://擷取json的url'    r = requetUrl(url)    j = r.text    jn = json.loads(j)    data = jn['data']    try:        print(u'共幾類:'+str(len(data)))        for d in data:            id = d['id']            print( d['name'])            getMatchInfo(id)    except:        traceback.print_exc(file=sys.stdout)    finally:        conn.close()        session.close() if __name__ =='__main__':    getNav()