Python 字串的encode與decode

標籤：

python的str，unicode對象的encode和decode方法 
python中的str對象其實就是"8-bit string" ，位元組字串，本質上類似java中的byte[]。 
而python中的unicode對象應該才是等同於java中的String對象，或本質上是java的char[]。 
對於 

s="你好" u=u"你好" 

1. s.decode方法和u.encode方法是最常用的， 
簡單說來就是，python內部表示字串用unicode（其實python內部的表示和真實的unicode是有點差別的，對我們幾乎透明，可不考慮），和人互動的時候用str對象。 
s.decode -------->將s解碼成unicode，參數指定的是s本來的編碼方式。這個和unicode(s,encodename)是一樣的。 

1. s.decode方法和u.encode方法是最常用的， 
簡單說來就是，python內部表示字串用unicode（其實python內部的表示和真實的unicode是有點差別的，對我們幾乎透明，可不考慮），和人互動的時候用str對象。 
s.decode -------->將s解碼成unicode，參數指定的是s本來的編碼方式。這個和unicode(s,encodename)是一樣的。 
u.encode -------->將unicode編碼成str對象，參數指定使用的編碼方式。 
助記：decode to unicode from parameter 
encode to parameter from unicode 
只有decode方法和unicode建構函式可以得到unicode對象。 
上述最常見的用途是比如這樣的情境，我們在python源檔案中指定使用編碼cp936， 
# coding=cp936或#-*- coding:cp936 -*-或#coding:cp936的方式（不寫預設是ascii編碼） 
這樣在源檔案中的str對象就是cp936編碼的，我們要把這個字串傳給一個需要儲存成其他編碼的地方（比如xml的utf-8,excel需要的utf-16） 
通常這麼寫： 
strobj.decode("cp936").encode("utf-16") 

You typically encode a unicode string whenever you need to use it for IO, for instance transfer it over the network, or save it to a disk file. 
To convert a string of bytes to a unicode string is known as decoding. Use unicode(‘...‘, encoding) or ‘...‘.decode(encoding). 
You typically decode a string of bytes whenever you receive string data from the network or from a disk file. 

 

 

 

字串在Python內部的表示是unicode編碼，因此，在做編碼轉換時，通常需要以unicode作為中間編碼，即先將其他編碼的字串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。 

decode的作用是將其他編碼的字串轉換成unicode編碼，如str1.decode(‘gb2312‘)，表示將gb2312編碼的字串str1轉換成unicode編碼。 

encode的作用是將unicode編碼轉換成其他編碼的字串，如str2.encode(‘gb2312‘)，表示將unicode編碼的字串str2轉換成gb2312編碼。 

因此，轉碼的時候一定要先搞明白，字串str是什麼編碼，然後decode成unicode，然後再encode成其他編碼

代碼中字串的預設編碼與代碼檔案本身的編碼一致。 

如：s=‘中文‘

如果是在utf8的檔案中，該字串就是utf8編碼，如果是在gb2312的檔案中，則其編碼為gb2312。這種情況下，要進行編碼轉換，都需要先用decode方法將其轉換成unicode編碼，再使用encode方法將其轉換成其他編碼。通常，在沒有指定特定的編碼方式時，都是使用的系統預設編碼建立的代碼檔案。 

如果字串是這樣定義：s=u‘中文‘

則該字串的編碼就被指定為unicode了，即python的內部編碼，而與代碼檔案本身的編碼無關。因此，對於這種情況做編碼轉換，只需要直接使用encode方法將其轉換成指定編碼即可。

如果一個字串已經是unicode了，再進行解碼則將出錯，因此通常要對其編碼方式是否為unicode進行判斷：

isinstance(s, unicode)  #用來判斷是否為unicode 

用非unicode編碼形式的str來encode會報錯 

 如何獲得系統的預設編碼？ 

#!/usr/bin/env python
#coding=utf-8
import sys
print sys.getdefaultencoding()  

該段程式在英文WindowsXP上輸出為：ascii 

在某些IDE中，字串的輸出總是出現亂碼，甚至錯誤，其實是由於IDE的結果輸出控制台自身不能顯示字串的編碼，而不是程式本身的問題。 

如在UliPad中運行如下代碼：

s=u"中文"
print s 

會提示：UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)。這是因為UliPad在英文WindowsXP上的控制台資訊輸出視窗是按照ascii編碼輸出的（英文系統的預設編碼是ascii），而上面代碼中的字串是Unicode編碼的，所以輸出時產生了錯誤。

將最後一句改為：print s.encode(‘gb2312‘)

則能正確輸出“中文”兩個字。

若最後一句改為：print s.encode(‘utf8‘)

則輸出：\xe4\xb8\xad\xe6\x96\x87，這是控制台資訊輸出視窗按照ascii編碼輸出utf8編碼的字串的結果。

unicode(str,‘gb2312‘)與str.decode(‘gb2312‘)是一樣的，都是將gb2312編碼的str轉為unicode編碼 

使用str.__class__可以查看str的編碼形式

Python 字串的encode與decode