標籤:
Python編碼問題總結
下面的文章和編碼具體解釋總結了常見字元編碼後,這篇文章會對python中常見的編碼問題進行分析和總結。因為python3.x版本號碼和python2.x版本號碼在字元編碼方面有非常大差異,所以本文都是以Python2.7.5來分析2.x版本號碼中的字元編碼問題。
1.Python編碼基礎1.1 str和unicode
python中有兩種資料模型來支援字串這樣的資料類型,str和unicode,它們的基類都是basestring。
比方s = "中文"就是str類型的字串,而u=u"中文"就是一個unicode類型的字串。unicode是由str類型的字串解碼後得到。unicode也能夠編碼成str類型。即
str --> decode -->unicodeunicode --> encode --> str
嚴格來說,str或許應該叫做位元組串,由於對於UTF-8編碼的str類型"中文",使用len()函數得到的結果是6,由於UTF-8編碼的str類型“中文”實際是"\xe4\xb8\xad\xe6\x96\x87"。而對於unicode類型u“中文”(實際是u"\u4e2d\u6587"),使用len()函數得到結果是2.
1.2 頭部編碼聲明
在python源碼檔案裡假設實用到非ascii字元,比方中文,那麼須要在源碼檔案頭部聲明源碼字元編碼,格式例如以下:
#-*- coding: utf-8 -*-
這個格式看起比較複雜,事實上python僅僅檢查#、coding,編碼等字串,能夠簡寫成#coding:utf-8,甚至還能夠寫成#coding:u8。
2.Python2.x常見編碼問題2.1 頭部編碼聲明和檔案編碼問題
檔案頭部編碼聲明決定了python解析原始碼中的str的編碼選擇方式,比方頭部聲明的是utf-8編碼,則代碼中s="中文"python就會依照utf-8編碼格式來解析,通過repr(s)能夠看到字元編碼是"\xe4\xb8\xad\xe6\x96\x87"。假設頭部聲明的編碼是gbk編碼,則python會對s採用gbk編碼解析。結果是"\xd6\xd0\xce\xc4"。
須要注意的是,檔案本身的編碼要跟檔案頭部聲明編碼一致,不然就會出現故障。
檔案本身的編碼在Linux以下能夠在vim下用命令set fenc來查看。
假設檔案本身編碼是gbk。而原始碼檔案頭部聲明的編碼是utf-8,這樣假設原始碼中有中文就會有問題了,由於本身中文str儲存是依照gbk編碼來的。而python在解析str的時候又以為是utf-8編碼。這樣就會報SyntaxError: (unicode error) ‘utf8‘ codec can‘t decode byte錯誤。
2.2 預設編碼問題
以下看個python預設編碼導致的問題:
#coding: utf-8u = u"中文"print repr(u) # u'\u4e2d\u6587's = "中文"print repr(s) # '\xe4\xb8\xad\xe6\x96\x87'u2 = s.decode("utf-8")print repr(u2) # u'\u4e2d\u6587'#s2 = u.decode("utf-8") #編碼錯誤#u2 = s.encode("utf-8") #解碼錯誤
注意執行個體中凝視掉的2行代碼,對於unicode最好不要直接調用decode。str最好不要直接調用encode方法。由於假設是直接調用。則相當於u.encode(default_encoding).decode("utf-8")。default_encoding是python的unicode實現中用的預設編碼,即sys.getdefaultencoding()得到的編碼,假設你沒有設定過。那麼預設編碼就是ascii,假設你的unicode本身超出了ascii編碼範圍就會報錯。同理,假設對str直接調用encode方法,那麼預設會先對str進行解碼。即s.decode(default_encoding).encode("utf-8"),假設str本身是中文,而default_encoding是ascii的話。解碼就會出錯,從而導致上面這兩行會分別報UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position...錯誤和UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe4 in position...錯誤。
上面範例中凝視掉的兩行代碼假設運行就會報錯,當然,假設本身str或者unicode都在ascii編碼範圍。就沒有問題。比方s = "abc"; s.encode("utf-8")就不會有問題。語句運行後會返回一個跟s的id不同的str。
那假設要解決執行個體1中的問題,有兩種方法,其一是明白指定編碼,例如以下所看到的:
#coding: utf-8u = u"中文"print repr(u) # u'\u4e2d\u6587's = "中文"print repr(s) # '\xe4\xb8\xad\xe6\x96\x87'u2 = s.decode("utf-8")print repr(u2) # u'\u4e2d\u6587's2 = u.encode("utf-8").decode("utf-8") # OK u2 = s.decode("utf8").encode("utf-8") # OK
另外一種方法就是更改python的預設編碼為檔案編碼格式,例如以下所看到的(這裡僅僅所以要reload sys模組。是由於python初始化後刪除了setdefaultencoding方法):
#coding:utf-8 import sys reload(sys)sys.setdefaultencoding("utf-8") #更改預設編碼為utf-8u = u"中文"print repr(u) # u'\u4e2d\u6587's = "中文"print repr(s) # '\xe4\xb8\xad\xe6\x96\x87'u2 = s.decode("utf-8")print repr(u2) # u'\u4e2d\u6587's2 = u.decode("utf-8")u2 = s.encode("utf-8")
2.3讀寫檔案編碼
採用python的open()方法開啟檔案時,read()讀取的是str,編碼就是檔案本身的編碼。而調用write()寫檔案時,假設參數是unicode,則須要用指定編碼encode,假設write()參數是unicode並且沒有指定編碼,則會採用python預設編碼encode後再寫入。
#coding:utf-8 f = open("testfile")s = f.read()f.close()print type(s) # <type 'str'>u = s.decode("utf-8") #testfile是utf-8編碼f = open("testfile", "w")f.write(u.encode("gbk")) #以gbk編碼寫入,testfile為gbk編碼f.close()
此外,python的codecs模組提供了一個open()方法。能夠指定編碼開啟檔案。使用這種方法開啟檔案讀取返回是unicode。
寫入時,假設write參數是unicode,則使用開啟檔案時的編碼寫入,假設是str,則先使用預設編碼解碼成unicode後再以開啟檔案的編碼寫入(這裡須要注意假設str是中文,而預設編碼sys.getdefaultencoding()是ascii的話會報解碼錯誤)。
#coding:gbkimport codecsf = codecs.open('testfile', encoding='utf-8')u = f.read()f.close()print type(u) # <type 'unicode'>f = codecs.open('testfile', 'a', encoding='utf-8')f.write(u) #寫入unicode# 寫入gbk編碼的str,自己主動進行解碼編碼操作s = '漢'print repr(s) # '\xba\xba'# 這裡會先將GBK編碼的str解碼為unicode再編碼為UTF-8寫入#f.write(s) #預設編碼為ascii時。這會報解碼錯誤。f.close()
3.參考資料
著作權聲明:本文部落格原創文章,部落格,未經同意,不得轉載。
Python編碼問題