python爬蟲編碼問題

來源:互聯網
上載者:User

標籤:xxx   cas   logger   ccf   cpu   height   str   技術分享   右鍵   

爬蟲,新手很容易遇到編碼解碼方面的問題。在這裡總結下。

如果處理不好編碼解碼的問題,爬蟲輕則顯示亂碼,重則報錯UnicodeDecodeError: ‘xxxxxx‘ codec can‘t decode byte 0xc6 in position 1034: invalid continuation byte,這個xxx可能是 ascii utf8  gbk等。

大家一定要選個專門的時間學習下這方面,網上資源很多的。因為編碼 解碼歲不關程式邏輯功能大局 ,但幾乎每個程式中都會遇到這個東西,所以必須專門花時間學習實踐下以避免頻繁與麻煩。 

 

1.先來兩個網址,選個gb2312的和一個utf8的網址。

utf8網站選擇  https://www.baidu.com 百度

gb2312的網站選擇 http://www.autohome.com.cn/beijing/#pvareaid=100519  汽車之家

 

url1=‘https://www.baidu.com‘
url2=‘http://www.autohome.com.cn/beijing/#pvareaid=100519‘
contentx=requests.get(url2).content

print unicode(contentx)
print contentx.encode(‘gbk‘)
print contentx.encode(‘utf8‘)

先說請求url1的情況

先上這六行代碼,如果是請求url1,那麼在py2.7.13上不會報錯,在py2.7.12上會報錯,但在pycharm的控制台print的結果亂不亂碼我就不保證了,pycharm的設定中有project encoding選項,如果你設定的是utf8或者gbk,那麼第二個和第三個勢必會有一個是亂碼的顯示。同一個py代碼如果你在pychamr編輯器設定的是utf8,結果正常顯示,那麼在cmd運行python xx.py看到的結果那就必然會亂碼了。

 

 


上面說的是py2.7.13,如果你是2.7.12,那麼結果就不是這樣的了,在2.7.12中,上面六行代碼不會是顯示亂碼那麼簡單了,而是直接報錯

在2.7.12中運行下面這句
print requests.get(url1).content.encode(‘gbk‘)
或者運行unicode(requests.get(url1).content)
會提示

因為直接從字串轉另一個編碼格式格式,先會用預設的編碼decode解碼,再用指定的encode格式來編碼了。


可以在python指令碼中運行這句話
import sys
print sys.getdefaultencoding()


2.7.13的

 

2.7.12的

 

 



py2.7.13的列印結果是utf8,而py2.7.12的列印結果卻是ascii,url1的網頁編碼是utf8,用ascii解碼會出錯。

要使py2.7.12中不報這個錯誤,那麼可以加入下面這句經典的代碼

加入後,就不會出現 ascii codec cant decode 的提示了;如果不加入上面這句話,想把得到的內容encode成gbk格式的,可以按下面這麼做

print requests.get(url1).content.encode(‘gbk‘)把這個改成print requests.get(url1).content.decode(‘utf8‘).encode(‘gbk‘),這樣就不不會按照預設的編碼解碼了,就可以不需要上面的reload和setdefaultcoding。

 

import sys
print sys.getdefaultencoding()
reload(sys)
sys.setdefaultencoding(‘utf8‘)

這三行代碼不是萬金油,不能以為寫了這幾句就萬事大吉不會出編碼問題了,如果請求的是url2,汽車之家網頁是gbk格式的,
如果用print requests.get(url2).content.encode(‘utf8‘),那一樣會報錯從content字串按照指定的utf8來解碼成unicode,那就會報錯了,這時候就需要sys.setdefaultencoding(‘gbk‘),而不是utf8了。

但你應該程式既要請求url1又要請求url2,那麼不管你怎麼指定預設的,如果不專門指定content的decode方式,勢必會有一個報錯。
那麼解決這個最需要的做的事情是
print requests.get(url1).content.decode(‘utf8‘).encode(‘xxxx‘)   xxx代表你想編碼的方式
print requests.get(url2).content.decode(‘gbk‘).encode(‘xxxx‘)

這樣做實用性就非常強了,不管你是2.7.12還是2.7.13,不管你寫不寫sys.setdefaultencoing和預設指定成什麼,都不會出現編碼問題了。





第二部分:如何知道網頁的編碼

使用360瀏覽器的右鍵很方便有一個編碼查看的功能,你們可以試試把gbk改成utf8或者utf8改成gbk,那麼瀏覽器會就出現亂碼了。用360瀏覽器點擊右鍵,99%的情況下就是網頁的編碼了,我是用360多年很少發現360出這種亂碼錯誤。

 

除了瀏覽器查看外,還有一個方法是,右鍵點擊查看原始碼,是百度的,可以看到用的是utf8,那麼把response的content用utf8 decode是不會出問題的,如果網頁源碼中charset是gb2312,用gbk deocde就可以。

 


目前我做的事輿情分析,要爬取上萬個網站的新聞,用瀏覽器查看那肯定就不行了,進入什麼網頁都是未知的,如果是定向爬取,可以代碼指定用什麼格式decode

可以用下面這句話來擷取網頁編碼格式re.findall(‘<meta[\s\S]*?charset="?(.*?)"‘,content,re.IGNORECASE)[0]


之前同事介紹了一個編碼擷取的包,名字叫chardet,用法是chardet.detect(content),這個方法非常準確,但是缺點太大了,長時間佔用cpu計算,cpu使用率太高,整個爬蟲速度被扯下來了。當頁面內容比較大的時候,用chardet來,甚至探測一個編碼方式需要15秒之久,這方法不好。


為了看到chardet到底在幹什麼要那麼久,把日誌列印出來。
代碼貼出來,對這個包感興趣的可以看看。


#coding=utf8import requestsimport chardet,logginglogger=logging.getLogger(‘‘)logger.setLevel(logging.DEBUG)stream_handler=logging.StreamHandler()stream_handler.setLevel(logging.DEBUG)fmt=logging.Formatter(‘%(asctime)s - %(name)s - %(levelname)s - %(message)s‘)stream_handler.setFormatter(fmt)logger.addHandler(stream_handler)url1=‘https://www.baidu.com‘url2=‘http://www.autohome.com.cn/beijing/#pvareaid=100519‘contentx=requests.get(url2).contentbianma=chardet.detect(contentx)print bianma

 

看了此篇後,應該不至於遇到編碼問題了。



 

python爬蟲編碼問題

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.