python讀寫unicode檔案之utf-16

來源:互聯網
上載者:User

很多文章都提到了 import codecs,的確!

但是有的在處理unicode時只考慮utf-8,或者簡單utf-16.

但是utf-16使用時還容易報錯,原因就是utf-16會預設檢測BOM(byte order mark),如果有的檔案建立時沒有,則python無法正常讀取,這是就要考慮utf_16_le等。

------------------------------------

utf_16、utf_16_le、utf_16_be、utf_8
引用下:http://blog.csdn.net/skeleton703/article/details/8433375 以及http://blog.csdn.net/pkrobbie/article/details/1451437

Python核心庫的open函數是按照ascii設計的。但是,現在我們越來越多地要面對Unicode檔案。好在python提供了codecs模組,幫我們解決了這個問題。使用中有一些需要注意的問題。
codecs模組的open定義如下
open(filename, mode[, encoding[, errors[, buffering]]])Open an encoded file using the given mode and return a wrapped version providing transparent encoding/decoding. 
其中前兩個參數filename和mode和預設的open相同。第三個參數encoding是關鍵,制定了檔案的編碼方式。
對於常用的Unicode有這幾種utf_16、utf_16_le、utf_16_be、utf_8,每一種還有一些可用的別名,具體可以尋找python manual。
utf_16、utf_16_le、utf_16_be參數的區別是這樣的。
如果指定了utf_16,python會檢查檔案的BOM(Byte Order Mark)來判斷,檔案類型到底是utf_16_le、utf_16_be。對於沒有BOM的檔案會報錯。
如果我們直接指定了utf_16_le、utf_16_be,python就不檢查BOM了。對於沒有BOM的檔案很好用。但是,對於有BOM的檔案就要注意,它會把BOM當作第一個字元讀入

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.