很多文章都提到了 import codecs,的確!
但是有的在處理unicode時只考慮utf-8,或者簡單utf-16.
但是utf-16使用時還容易報錯,原因就是utf-16會預設檢測BOM(byte order mark),如果有的檔案建立時沒有,則python無法正常讀取,這是就要考慮utf_16_le等。
------------------------------------
utf_16、utf_16_le、utf_16_be、utf_8
引用下:http://blog.csdn.net/skeleton703/article/details/8433375 以及http://blog.csdn.net/pkrobbie/article/details/1451437
Python核心庫的open函數是按照ascii設計的。但是,現在我們越來越多地要面對Unicode檔案。好在python提供了codecs模組,幫我們解決了這個問題。使用中有一些需要注意的問題。
codecs模組的open定義如下
open(filename, mode[, encoding[, errors[, buffering]]])Open an encoded file using the given mode and return a wrapped version providing transparent encoding/decoding.
其中前兩個參數filename和mode和預設的open相同。第三個參數encoding是關鍵,制定了檔案的編碼方式。
對於常用的Unicode有這幾種utf_16、utf_16_le、utf_16_be、utf_8,每一種還有一些可用的別名,具體可以尋找python manual。
utf_16、utf_16_le、utf_16_be參數的區別是這樣的。
如果指定了utf_16,python會檢查檔案的BOM(Byte Order Mark)來判斷,檔案類型到底是utf_16_le、utf_16_be。對於沒有BOM的檔案會報錯。
如果我們直接指定了utf_16_le、utf_16_be,python就不檢查BOM了。對於沒有BOM的檔案很好用。但是,對於有BOM的檔案就要注意,它會把BOM當作第一個字元讀入