Python的ASCII, GB2312, Unicode , UTF-8

ASCII 是一種字元集,包括大小寫英文字母、數字、控制字元等，它用一個位元組表示，範圍是 0-127Unicode分為UTF-8和UTF-16。UTF-8變長度的，最多 6 個位元組，小於 127 的字元用一個位元組表示，與 ASCII 字元集的結果一樣，ASCII 編碼下的英語文本不需要修改就可以當作 UTF-8 編碼進行處理。

Python 從 2.2 開始支援 Unicode ，函數 decode( char_set )可以實現 其它編碼到 Unicode 的轉換，函數 encode( char_set )實現 Unicode 到其它編碼方式的轉換。

比如 ("你好").decode( "GB2312") 將得到 u'\u4f60\u597d'，即 "你"和“好"的 Unicode 碼分別是 0x4f60 和 0x597d
再用 (u'\u4f60\u597d').encode("UTF-8") 將得到 '\xe4\xbd\xa0\xe5\xa5\xbd'，它是  “你好”的UTF-8編碼結果。

python中使用 unicode的關鍵：unicode是一個類，函數unicode(str,"utf8")從utf8編碼（當然也可以是別的編碼）的字串str產生 unicode類的對象，而函數unc.encode("utf8")將unicode類的對象unc轉換為（編碼為）utf8編碼（當然也可以是別的編碼）的字串。於是，編寫unicode相關程式，需要做的事情是

    * 擷取資料（字串）時，用unicode(str, "utf8")產生unicode對象
    * 在程式中僅使用unicode對象，對程式中出現的字串常量都以u"字串"的形式書寫
    * 輸出時，可將unicode對象轉換為任意編碼輸出，使用str.encode("some_encoding")

>>> unicode("你好", "utf8")u'\u4f60\u597d'>>> x = _>>> type(x)>>> type("你好")>>> x.encode("utf8")'\xe4\xbd\xa0\xe5\xa5\xbd'>>> x.encode("gbk")'\xc4\xe3\xba\xc3'>>> x.encode("gb2312")'\xc4\xe3\xba\xc3'>>> print x你好>>> print x.encode("utf8")你好>>> print x.encode("gbk")???

以上是測試結果（Ubuntu 6.06，locale為utf8），注意type(x)和type("你好")的區別。從編碼上可以看出utf8編碼與gbk不同。在utf8的 locale設定下，列印x按該環境變數編碼（我猜我猜我猜猜猜），而列印x.encode("gbk")則是亂碼。