Python字元集問題轉載

對應中國人來說字元集的相互轉換真是麻煩，搞不好就是大串的亂碼，實在有必要多多複習一下基本概念！！
ISO8859-1，通常叫做Latin-1。Latin-1包括了書寫所有西方歐洲語言不可缺少的附加字元。而gb2312是標準中文字元集。
UTF-8 是 UNICODE 的一種變長字元編碼，即 RFC 3629。簡單的說——大字元集。可以解決多種語言文本顯示問題，從而實現應用國際化和本地化。
對系統來講，UTF-8 編碼可以通過屏蔽位和移位操作快速讀寫，排序更加容易。UTF-8 是位元組順序無關的，它的位元組順序在所有系統中都是一樣的。因此 UTF-8 具有更高的效能。
在chinaunix看到篇執行個體講解，很是直觀，下面就貼出來，與大家共用！！
python 代碼

  1. >>> a = "我"
  2. >>> b = unicode(a,"gb2312")
  3. >>> a.__class__
  4. <type 'str'>
  5. >>> b.__class__
  6. <type 'unicode'>
  7. >>>  

看出來了吧，兩種字串。
再來
python 代碼

  1. >>> a
  2. '\xce\xd2'
  3. >>> b
  4. u'\u6211'  

變數a是兩個字元，b是一個unicode字元。
關於這兩種字串，Python文檔-->LanguageReference-->DataModel-->The standard type hierarchy-->
Sequences，有一些Strings,Unicode的描述。
至於
python 代碼

  1. >>> z = u"我"
  2. >>> #這種代碼，其實什麼都不是。
  3. >>> z.__class__
  4. <type 'unicode'>
  5. >>> z
  6. u'\xce\xd2'  

看到了吧,這個奇怪的東西......
後來在WindowsXP、純python命令列下試過，得出的結論不同，z的結果變成了u'\u6211'，這裡完全不應
該在pyshell下作實驗的，看來還有很多問題尚未理解清楚

再來看看encode，decode
什麼情況用encode，什麼情況又是decode呢，剛開始總是被搞昏。其實各種本地字元集的英文名是
Coded Character Set，要轉換為Coded，肯定是要encode了，同樣，從裡面解出來也應該叫decode……

decode就是把其他編碼轉換為unicode，等同於unicode函數；encode就是把unicode編碼的字串轉換
為
特定編碼。在pyshell裡繼續：
a是Str類型的，所以再用encode會報錯。用print輸出時會調用預設編碼轉換為系統編碼？

python 代碼

  1. >>> a.decode("gb2312")
  2. u'\u6211'
  3. >>> print a.decode("gb2312")
  4. 我
  5. >>> a.encode("gb2312")
  6. Traceback (most recent call last):
  7. File "<input>", line 1, in ?
  8. UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)  

b是unicode類型，列印時需要先encode(編碼)成系統編碼
python 代碼

  1. >>> print b.encode("gb2312")
  2. 我
  3. >>> b.encode("gb2312")
  4. '\xce\xd2'
  5. >>> b.decode("gb2312")
  6. Traceback (most recent call last):
  7. File "<input>", line 1, in ?
  8. UnicodeEncodeError: 'ascii' codec can't encode character u'\u6211' in position 0: ordinal not in
  range(128

字串內碼的轉換，是開發中經常遇到的問題。
在Java中，我們可以先對某個String調用getByte()，由結果產生新String的辦法來轉碼，也可以用NIO包裡面的Charset來實現。
在Python中，可以對String調用decode和encode方法來實現轉碼。
比如，若要將某個String對象s從gbk內碼轉換為UTF-8，可以如下操作
s.decode(’gbk’).encode(’utf-8′)

可是，在實際開發中，我發現，這種辦法經常會出現異常：
UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 30664-30665: illegal multibyte sequence

這是因為遇到了非法字元——尤其是在某些用C/C++編寫的程式中，全形空格往往有多種不同的實現方式，比如\xa3\xa0，或者\xa4\x57，這 些字元，看起來都是全形空格，但它們並不是“合法”的全形空格（真正的全形空格是\xa1\xa1），因此在轉碼的過程中出現了異常。

這樣的問題很讓人頭疼，因為只要字串中出現了一個非法字元，整個字串——有時候，就是整篇文章——就都無法轉碼。

幸運的是，tiny找到了完美的解決辦法（我因此被批評看文檔不仔細，汗啊……）
s.decode(’gbk’, ‘ignore’).encode(’utf-8′)

因為decode的函數原型是decode([encoding], [errors='strict'])，可以用第二個參數控制錯誤處理的策略，預設的參數就是strict，代表遇到非法字元時拋出異常；
如果設定為ignore，則會忽略非法字元；
如果設定為replace，則會用?取代非法字元；
如果設定為xmlcharrefreplace，則使用XML的字元引用。