python 爬蟲新解

標籤：選擇   自己   network   xhr   work   htm   多個   python爬蟲   構建   

關於python爬蟲多個庫的選擇反反覆複，總是不知道選擇哪個，通過試過多個晚上的選擇

1. reques
2. Beautifulsoup

以上兩個庫足夠爬蟲，已反爬蟲網站資料的爬取。先上代碼：

• 庫的調用：

• 網頁連結擷取：

 url=‘**********************‘

• 網頁reques headers構建，主要是反爬蟲網站的偽裝，擷取地址在network中的XHR中的request headers的User-Agent，如下所示：（任何一個json檔案都可以）

• 具體代碼自己根據css或者是HTML格式去擷取，Regex後面更新，個人具體代碼如下所示：

• 輸出如下所示：

 

python 爬蟲新解