python 處理中文檔案時的編碼問題，尤其是utf-8和gbk

標籤：

python代碼檔案的編碼

py檔案預設是ASCII編碼，中文在顯示時會做一個ASCII到系統預設編碼的轉換，這時就會出錯：SyntaxError: Non-ASCII character。需要在代碼檔案的第一行或第二行添加編碼指示：

1. # coding=utf-8 ##以utf-8編碼儲存中文字元
2. print ‘中文‘像上面那樣直接輸入的字串是按照代碼檔案的編碼來處理的，如果用unicode編碼，有以下2種方式：

   1. s1 = u‘中文‘ #u表示用unicode編碼方式儲存資訊
   2. s2 = unicode(‘中文‘,‘gbk‘)

unicode是一個內建函數，第二個參數指示源字串的編碼格式。

decode是任何字串具有的方法，將字串轉換成unicode格式，參數指示源字串的編碼格式。

encode也是任何字串具有的方法，將字串轉換成參數指定的格式。

python字串的編碼

用 u‘漢字‘ 構造出來的是unicode類型，不用的話構造出來是str類型

str的編碼是與系統內容相關的，一般就是sys.getfilesystemencoding()得到的值

所以從unicode轉str，要用encode方法

從str轉unicode，所以要用decode

例如：

# coding=utf-8   #預設編碼格式為utf-8s = u‘中文‘ #unicode編碼的文字print s.encode(‘utf-8‘)   #轉換成utf-8格式輸出 print s #效果與上面相同，似乎預設直接轉換為指定編碼

我的總結：

u=u‘unicode編碼文字‘g=u.encode(‘gbk‘) #轉換為gbk格式print g #此時為亂碼，因為當前環境為utf-8,gbk編碼文字為亂碼str=g.decode(‘gbk‘).encode(‘utf-8‘)   #以gbk編碼格式讀取g（因為他就是gbk編碼的）並轉換為utf-8格式輸出print str #正常顯示中文

安全的方法：

s.decode(‘gbk‘,‘ignore‘).encode(‘utf-8′) #以gbk編碼讀取（當然是讀取gbk編碼格式的文字了）並忽略錯誤的編碼，轉換成utf-8編碼輸出 

因為decode的函數原型是decode([encoding], [errors=‘strict‘])，可以用第二個參數控制錯誤處理的策略，預設的參數就是strict，代表遇到非法字元時拋出異常；

如果設定為ignore，則會忽略非法字元；
如果設定為replace，則會用?取代非法字元；
如果設定為xmlcharrefreplace，則使用XML的字元引用。

python 處理中文檔案時的編碼問題，尤其是utf-8和gbk