利用python如何爬取js裡面的內容

本篇文章給大家分享的內容是3利用python如何爬取js裡面的內容 ，有著一定的參考價值，有需要的朋友可以參考一下

一、在編寫爬蟲軟體擷取所需內容時可能會碰到所需要的內容是由javascript添加上去的 在擷取的時候為空白 比如我們在擷取新浪新聞的評論數時使用普通的方法就無法擷取

普通擷取程式碼範例：

import requestsfrom bs4 import BeautifulSoupres = requests.get('http://news.sina.com.cn/c/nd/2017-06-12/doc-ifyfzhac1650783.shtml')res.encoding = 'utf-8'soup = BeautifulSoup(res.text,'html.parser')#取評論數commentCount = soup.select_one('#commentCount1')print(commentCount.text)

此時所擷取的結果為空白 這是由於內容是儲存在js檔案中

因此我們需要取尋找儲存評論內容的js 經過尋找我們發現其儲存在改js裡

將相應內容放入json資料檢視器中我們發現評論總數和評論內容都在該js檔案中一json格式存放

在訊息頭中我們可以看的該js檔案的訪問路徑及請求方式

程式碼範例

import jsoncomments = requests.get('http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-fyfzhac1650783')comments.encoding = 'utf-8'print(comments)jd = json.loads(comments.text.strip('var data=')) #移除改var data=將其變為json資料print(jd['result']['count']['total'])

注釋：這裡解釋下為何需要移除 var data= 因為在擷取時字串首碼是包含var data=的 其不符合json資料格式 因此轉化時需將其從請求內容中移除

取評論總數時為何使用jd['result']['count']['total']