爬蟲之手機APP抓包教程-親測HTTP和HTTPS均可實現

標籤：支援   資料   其他   很多   ora   參考   app   開啟   情況   

當下很多網站都有做自己的APP端產品，一個優秀的爬蟲工程師，必須能夠繞過難爬取點而取捷徑，這是皆大歡喜的。但是在網上收羅和查閱了無數文檔和資料，本人親測無數次，均不能正常擷取HTTPS資料，究其原因是手機端認證安裝不正確所致，故編寫文章以協助後來的小夥伴。

當下抓包工具有Fiddler，Charles，wireshark等，手機APP最常用的是Fiddler和Charles，而wireshark適合作為測試用，下面我著重介紹Charles抓包工具的使用。

Charles是抓包工具中的神器，開發人員可以使用它方便的抓取http請求，https請求，並支援修改、重放等功能。對於PC端和移動端都非常方便。

1、安裝Charles：

　　隨便在網上都可以下載到，這裡不做介紹

2、安裝好Charles之後，需要進行簡單的 配置：

　　注意：要確保手機和Charles在同一個WIFI環境中

　　使用ipconfig 查看電腦串連wifi所用的ip：

　　

　　開啟Charles，點擊左上方Proxy->Proxy Settings,選中Enabel transparent HTTPproxying。點擊ok。Port一般都是8888，這個要和下一步手機中的連接埠相同

　　

3、配置好Charles後需要進行手機端的配置。

　　開啟手機，設定->WIFI-->常按你手機串連的WIFI-->點擊修改網路-->顯示進階選擇-->選擇代理為手動-->主機名稱填你剛才ipconfig查詢到的IP地址，連接埠號碼填8888，點擊儲存。ok，手機端設定好

　　

4、重啟Fiddler，此時可以抓取到http的包，如果您只需要抓取http資料，此時已經實現，如果您需要擷取https包，請繼續往下看

　　

HTTPS請求的擷取，需要進行對手機安裝認證

1. 如，選擇在行動裝置上安裝 Charles 根憑證：

　　

　　下載即可

　　然後點擊SSL_Proxying下的第二個install，如：

　　

2.   然後開啟手機的瀏覽器，輸入 browse to 後面的地址進行下載，安裝即可

正常情況下此時可以正常抓取https資料包，如果此時不能正常抓取https包，不要著急，這裡有絕招：在這裡不能正常抓取的原因是你的手機上沒有正常安裝認證，這裡我們使用類比安卓的模擬器進行替代手機進行抓包，我使用的“天天模擬器”，在網上下載天天模擬器，並進行安裝，安裝後，配置步驟同手機一樣。配置完成並成功安裝認證後就可以完美的享受i的https抓包過程了。如您遇到其他問題或者不能正常抓包，歡迎您留言。

 

 

Fiddler抓包工具教程參考文檔：

　　https://kb.cnblogs.com/page/130367/

　　http://www.jianshu.com/p/9e05a2522758

　   http://www.cnblogs.com/zhaoyanjun/p/7068905.html

 

爬蟲之手機APP抓包教程-親測HTTP和HTTPS均可實現