【轉載】python抓取網頁時候，判斷網頁編碼格式

標籤：post   .com   問題   log   判斷   python實現   亂碼   今天   轉換   

在web開發的時候我們經常會遇到網頁抓取和分析，各種語言都可以完成這個功能。我喜歡用python實現，因為python提供了很多成熟的模組，可以很方便的實現網頁抓取。
但是在抓取過程中會遇到編碼的問題，那今天我們來看一下如何判斷網頁的編碼：
網上很多網頁的編碼格式都不一樣，大體上是GBK,GB2312，UTF-8等。
我們在擷取網頁的的資料後，先要對網頁的編碼進行判斷，才能把抓取的內容的編碼統一轉換為我們能夠處理的編碼，避免亂碼問題的出現。

使用chardet模組

 

 1 #如果你的python沒有安裝chardet模組，你需要首先安裝一下chardet判斷編碼的模組哦  2 #author:pythontab.com 3 import chardet  4 import urllib 5 #先擷取網頁內容 6 data1 = urllib.urlopen(‘http://www.baidu.com‘).read() 7 #用chardet進行內容分析 8 chardit1 = chardet.detect(data1) 9 10 print chardit1[‘encoding‘] # baidu

執行結果為：

gb2312

這個結果都是正確的哦，各位可以去親自驗證一下~~

 

【轉載】python抓取網頁時候，判斷網頁編碼格式