淺談Python爬取網頁的編碼處理_python

背景

中秋的時候，一個朋友給我發了一封郵件，說他在爬鏈家的時候，發現網頁返回的代碼都是亂碼，讓我幫他參謀參謀(中秋加班，真是敬業= =！)，其實這個問題我很早就遇到過，之前在爬小說的時候稍微看了一下，不過沒當回事，其實這個問題就是對編碼的理解不到位導致的。

問題

很普通的一個爬蟲代碼，代碼是這樣的：

# ecoding=utf-8import reimport requestsimport sysreload(sys)sys.setdefaultencoding('utf8')url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'res = requests.get(url)print res.text

目的其實很簡單，就是爬一下鏈家的內容，但是這樣執行之後，返回的結果，所有涉及到中文的內容，全部會變成亂碼，比如這樣

<script type="text/template" id="newAddHouseTpl"> <div class="newAddHouse">  自从您上次浏览（<%=time%>ï¼‰ä¹‹åŽï¼Œè¯¥æœç´¢æ¡ä»¶ä¸‹æ–°å¢žåŠ äº†<%=count%>套房源  <a href="<%=url%>" class="LOGNEWERSHOUFANGSHOW" <%=logText%>><%=linkText%></a>  <span class="newHouseRightClose">x</span> </div></script>

這樣的資料拿來可以說毫無作用。

問題分析

這裡的問題很明顯了，就是文字的編碼不正確，導致了亂碼。

查看網頁的編碼

從爬取的目標網頁的頭來看，網頁是用utf-8來編碼的。

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

所以，最終的編碼，我們肯定也要用utf-8來處理，也就是說，最終的文本處理，要用utf-8來解碼，也就是：decode('utf-8')

文本的編碼解碼

Python的編碼解碼的過程是這樣的，源檔案 ===》 encode(編碼方式) ===》decode(解碼方式)，在很大的程度上，不推薦使用

import sysreload(sys)sys.setdefaultencoding('utf8')

這種方式來硬處理文字編碼。不過在某些時候不影響的情況下，偷偷懶也不是什麼大問題，不過比較建議的就是擷取源檔案之後，使用encode和decode的方式來處理文本。

回到問題

現在問題最大的是源檔案的編碼方式，我們正常使用requests的時候，它會自動猜源檔案的編碼方式，然後轉碼成Unicode的編碼，但是，畢竟是程式，是有可能猜錯的，所以如果猜錯了，我們就需要手工來指定編碼方式。官方文檔的描述如下：

When you make a request, Requests makes educated guesses about the encoding of the response based on the HTTP headers. The text encoding guessed by Requests is used when you access r.text. You can find out what encoding Requests is using, and change it, using the r.encoding property.

所以我們需要查看requests返回的編碼方式到底是什嗎？

# ecoding=utf-8import reimport requestsfrom bs4 import BeautifulSoupimport sysreload(sys)sys.setdefaultencoding('utf8')url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'res = requests.get(url)print res.encoding

列印的結果如下：

ISO-8859-1

也就是說，源檔案使用的是ISO-8859-1來編碼。百度一下ISO-8859-1，結果如下：

ISO8859-1，通常叫做Latin-1。Latin-1包括了書寫所有西方歐洲語言不可缺少的附加字元。

問題解決

發現了這個東東，問題就很好解決了，只要指定一下編碼，就能正確的打出中文了。代碼如下：

# ecoding=utf-8import requestsimport sysreload(sys)sys.setdefaultencoding('utf8')url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'res = requests.get(url)res.encoding = ('utf8')print res.text

列印的結果就很明顯，中文都正確的顯示出來了。

另一種方式是在源檔案上做解碼和編碼，代碼如下：

# ecoding=utf-8import requestsimport sysreload(sys)sys.setdefaultencoding('utf8')url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'res = requests.get(url)# res.encoding = ('utf8')print res.text.encode('ISO-8859-1').decode('utf-8')

另：ISO-8859-1也叫做latin1，使用latin1做解碼結果也是正常的。

關於字元的編碼，很多東西可以說，想瞭解的朋友可以參考以下大神的資料。

•《The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)》

以上這篇淺談Python爬取網頁的編碼處理就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支援雲棲社區。