python解決漢字編碼問題:Unicode Decode Error_python

來源:互聯網
上載者:User
前言

最近由於項目需要,需要讀取一個含有中文的txt文檔,完了還要儲存檔案。文檔之前是由base64編碼,導致所有漢字讀取顯示亂碼。項目組把base64廢棄之後,先後出現兩個錯誤:

ascii codec can't encode characters in position ordinal not in range 128UnicodeDecodeError: ‘utf8' codec can't decode byte 0x。

如果對於ascii、unicode和utf-8還不瞭解的小夥伴,可以看之前的這篇文章關於字串和編碼

那麼必須對下面這三個概念有所瞭解:

  1. ascii只能表示數字、英文字母和一些特殊符號,不能表示漢字

  2. unicode和utf-8都可以表示漢字,unicode是固定長度,utf-8是可變長度

  3. 記憶體中儲存方式一般為unicode,而磁碟檔案儲存體方式一般為utf-8,因為utf-8可以節約儲存空間

那麼python的預設編碼是什嗎?

>>> import sys>>> sys.getdefaultencoding()'ascii'>>> reload(sys)<module 'sys' (built-in)>>>> sys.setdefaultencoding('utf-8')>>> sys.getdefaultencoding()'utf-8'

python的預設編碼是ascii,可以通過sys.setdefaultencoding('utf-8')函數設定python的預設編碼。

python中可以通過encode和decode的方式改變資料的編碼,比如:

>>> u'漢字'u'\u6c49\u5b57'>>> u'漢字'.encode('utf-8')'\xe6\xb1\x89\xe5\xad\x97'>>> u'漢字'.encode('utf-8').decode('utf-8')u'\u6c49\u5b57'

我們可以通過這兩個函數設定編碼。

那麼,python中的str是什麼類型?

>>> import binascii>>> '漢字''\xba\xba\xd7\xd6'>>> type('漢字')<type 'str'>>>> print binascii.b2a_hex('漢字')babad7d6>>> print binascii.b2a_hex(u'漢字')Traceback (most recent call last): File "<stdin>", line 1, in <module>UnicodeEncodeError: 'ascii' codec can't encode characters inposition 0-1: ordinal not in range(128)>>> print binascii.b2a_hex(u'漢字'.encode('utf-8'))e6b189e5ad97>>> print binascii.b2a_hex(u'漢字'.encode('gbk'))babad7d6

binascii是將資料的二進位轉換成ascii,上面的解釋是:‘漢字'的類型是str,二進位是babad7d6,u‘漢字'是無法轉換成ascii,這樣就報出了開頭的第一個錯誤。解決辦法就是把它.encode(‘utf-8')成str類型。因為我命令列是windows預設的GBK編碼,所有u'漢字'.encode(‘gbk')的時候,輸出結果和‘漢字'結果一樣。

總結一下,python的str實際上是unicode的一種,python的預設編碼是ascii,對於非ascii轉成ascii的時候都會報錯,牢記下面的規則:

  1. unicode => encode(‘合適的編碼') => str

  2. str => decode(‘合適的編碼') => unicode

還有一種簡單的方式,就是在檔案頭設定編碼,可以省去很多麻煩:

import sysreloads(sys)sys.setdefaultencoding('utf-8')

對於第二個問題,是在檔案讀取的時候出的錯。utf-8的檔案有bom和無bom兩種方式,兩者的差別好像在bom檔案比無bom檔案多了一個頭,導致以utf-8方式讀檔案時報錯,我先前曾嘗試讀檔案的時候先對有無bom進行判斷,跳過bom檔案的頭,後來失敗了,真尷尬~~。

還得上google求助大神,具體的操作方法就是使用codecs庫來讀檔案(我猜這個庫就是對檔案的頭進行檢測)。

import codecscodecs.open(file_name, "r",encoding='utf-8', errors='ignore')

對於編碼問題,一定要懂得ascii、unicode和utf-8工作原理。

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.