用 python 或者curl 抓取web資料時

標籤：

　　今天接到一個web的同事求助，他本來通過java抓取一個web頁面的內容，但是發現抓取得都是些亂碼，然後又嘗試用 python的urllib來擷取，依然是亂碼，不過在瀏覽器訪問卻是正常的json格式資料。

 

　　首先，我先用curl擷取了下這個web，發現確實是一些不可見的字元，把它儲存下來。

　　再使用瀏覽器擷取下這個web內容，對比下發現位元組數是不一樣的，說明不是編碼顯示的問題。

　　這個時候我考慮可能是http協議參數的問題，於是使用wireshark捕獲用瀏覽器的請求，用tcpdump捕獲了curl的請求，通過對比http get請求參數發現，在curl訪問的時候有一項Content-Encoding:gzip，推斷難道是使用gzip壓縮了？

　　使用gzip命令把剛才通過curl命令擷取的web資料解壓下... 果然是這樣...問題解決。

　　 對web不是很瞭解的我，覺得還挺有意思的...

用 python 或者curl 抓取web資料時