Python的ASCII, GB2312, Unicode , UTF-8區別

ASCII 是一種字元集,包括大小寫英文字母、數字、控制字元等，它用一個位元組表示，範圍是 0-127

Unicode分為UTF-8和UTF-16。UTF-8變長度的，最多 6 個位元組，小於 127 的字元用一個位元組表示，與 ASCII 字元集的結果一樣，ASCII 編碼下的英語文本不需要修改就可以當作 UTF-8 編碼進行處理。

Python 從 2.2 開始支援 Unicode ，函數 decode( char_set )可以實現 其它編碼到 Unicode 的轉換，函數 encode( char_set )實現 Unicode 到其它編碼方式的轉換。

比如 ("你好").decode( "GB2312") 將得到 u'/u4f60/u597d'，即 "你"和“好"的 Unicode 碼分別是 0x4f60 和 0x597d
再用 (u'/u4f60/u597d').encode("UTF-8") 將得到 '/xe4/xbd/xa0/xe5/xa5/xbd'，它是  “你好”的UTF-8編碼結果。

python中使用 unicode的關鍵：unicode是一個類，函數unicode(str,"utf8")從utf8編碼（當然也可以是別的編碼）的字串str產生 unicode類的對象，而函數unc.encode("utf8")將unicode類的對象unc轉換為（編碼為）utf8編碼（當然也可以是別的編碼）的字串。於是，編寫unicode相關程式，需要做的事情是

    * 擷取資料（字串）時，用unicode(str, "utf8")產生unicode對象
    * 在程式中僅使用unicode對象，對程式中出現的字串常量都以u"字串"的形式書寫
    * 輸出時，可將unicode對象轉換為任意編碼輸出，使用str.encode("some_encoding")

>>> unicode("你好", "utf8")
u'/u4f60/u597d'
>>> x = _
>>> type(x)

>>> type("你好")

>>> x.encode("utf8")
'/xe4/xbd/xa0/xe5/xa5/xbd'
>>> x.encode("gbk")
'/xc4/xe3/xba/xc3'
>>> x.encode("gb2312")
'/xc4/xe3/xba/xc3'
>>> print x
你好
>>> print x.encode("utf8")
你好
>>> print x.encode("gbk")
???

以上是測試結果（Ubuntu 6.06，locale為utf8），注意type(x)和type("你好")的區別。從編碼上可以看出utf8編碼與gbk不同。在utf8的 locale設定下，列印x按該環境變數編碼（我猜我猜我猜猜猜），而列印x.encode("gbk")則是亂碼。

 

轉載聲明：本文轉自 http://1.vb.blog.163.com/blog/static/104546220071113105047729/

 

=====================================================================

 

推薦參考：

 

Python、Unicode和中文

http://blog.csdn.net/lwl_ls/archive/2007/08/21/1753284.aspx

 

UNICODE,GBK,UTF-8區別

http://blog.csdn.net/Sunboy_2050/archive/2010/12/16/6080008.aspx