Python字串轉碼問題

字串內碼的轉換，是開發中經常遇到的問題。
在Java中，我們可以先對某個String調用getByte()，由結果產生新String的辦法來轉碼，也可以用NIO包裡面的Charset來實現。
在Python中，可以對String調用decode和encode方法來實現轉碼。
比如，若要將某個String對象s從gbk內碼轉換為UTF-8，可以如下操作
s.decode(‘gbk’).encode(‘utf-8′)

可是，在實際開發中，我發現，這種辦法經常會出現異常：
UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 30664-30665: illegal multibyte sequence

這是因為遇到了非法字元——尤其是在某些用C/C++編寫的程式中，全形空格往往有多種不同的實現方式，比如\xa3\xa0，或者\xa4\x57，這些字元，看起來都是全形空格，但它們並不是“合法”的全形空格（真正的全形空格是\xa1\xa1），因此在轉碼的過程中出現了異常。

這樣的問題很讓人頭疼，因為只要字串中出現了一個非法字元，整個字串——有時候，就是整篇文章——就都無法轉碼。

幸運的是，tiny找到了完美的解決辦法（我因此被批評看文檔不仔細，汗啊……）
s.decode(‘gbk’, ‘ignore’).encode(‘utf-8′)

因為decode的函數原型是decode([encoding], [errors='strict'])，可以用第二個參數控制錯誤處理的策略，預設的參數就是strict，代表遇到非法字元時拋出異常；
如果設定為ignore，則會忽略非法字元；
如果設定為replace，則會用?取代非法字元；
如果設定為xmlcharrefreplace，則使用XML的字元引用。

轉自：http://workgroup.cn/?p=83