python 處理抓取網頁亂碼

標籤：

python 處理抓取網頁亂碼問題一招鮮 

相信用python的人一定在抓取網頁時，被編碼問題弄暈過一陣

前幾天寫了一個測試網頁的小指令碼，並尋找是否包含指定的資訊。

在html = urllib2.open(url).read()  時，列印到控制台始終出現亂碼。

一般的解決辦法就是html.decode(‘utf-8‘).encode(‘gb2312‘)，不過這個即使用了，也沒能解決我的問題

這裡有兩個問題，第一個你要知道網頁的編碼格式是utf-8     第二你得確定你的系統是gb2312的，能不能主動擷取網頁的編碼格式，並主動擷取系統編碼格式，像這樣

網頁編碼 = 擷取網頁編碼

系統編碼 = 擷取系統編碼

html.decode(網頁編碼).encode(系統編碼)  即使我不知道網頁編碼，系統編碼，只要雙方能轉 ，就行。

網頁編碼 = re.complier(‘正則擷取meta裡的編碼格式‘)

系統編碼 =  sys.getfilesystemencoding()  ########關鍵的關鍵

html.decode(網頁編碼).encode(系統編碼)   現在列印，一切正常了。我才不管系統什麼編碼，只要你能轉。

python 處理抓取網頁亂碼