Python中使用不同編碼讀寫txt檔案詳解

複製代碼 代碼如下:

import os
import codecs
filenames=os.listdir(os.getcwd())

out=file("name.txt","w")
for filename in filenames:
out.write(filename.decode("gb2312").encode("utf-8"))
out.close()

將執行檔案的目前的目錄及檔案名稱寫入到name.txt檔案中，以utf-8格式儲存
如果採用ANSI編碼儲存，用如下代碼寫入即可：
複製代碼 代碼如下:

out.write(filename)

開啟檔案並寫入

引用codecs模組，對該模組目前不瞭解。在此記錄下方法，有空掌握該模組功能及用法。
複製代碼 代碼如下:

import codecs
file=codecs.open("lol.txt","w","utf-8")
file.write(u"我")
file.close()

讀取ANSI編碼的文字檔和utf-8編碼的檔案

讀取ANSI編碼檔案

建立一個檔案test.txt，檔案格式用ANSI，內容為:
複製代碼 代碼如下:

abc中文

用python來讀取
複製代碼 代碼如下:

# coding=gbk
print open("Test.txt").read()

結果：abc中文
讀取utf-8編碼檔案（無BOM）
把檔案格式改成UTF-8：
複製代碼 代碼如下:

結果：abc涓 枃

顯然，這裡需要解碼：
複製代碼 代碼如下:

# -*- coding: utf-8 -*-
import codecs
print open("Test.txt").read().decode("utf-8")

結果：abc中文

讀取utf-8編碼檔案（有BOM）

某些軟體在儲存一個以UTF-8編碼的檔案時，預設會在檔案開始的地方插入三個不可見的字元（0xEF 0xBB 0xBF，即BOM）。在有些軟體可以控制是否插入BOM。如果在有BOM的情況下，在讀取時需要自己去掉這些字元，python中的codecs module定義了這個常量：
複製代碼 代碼如下:

# -*- coding: utf-8 -*-
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")

結果：abc中文
在看下面的例子：
複製代碼 代碼如下:

# -*- coding: utf-8 -*-
data = open("name_utf8.txt").read()
u=data.decode("utf-8")
print u[1:]

開啟utf-8格式的檔案並讀取utf-8字串後，解碼變成unicode對象。但是會把附加的三個字元同樣進行轉換，變成一個unicode字元。該字元不能被列印。所以為了正常顯示，採用u[1:]的方式，過濾到第一個字元。
注意：在處理unicode中文字串的時候，必須首先對它調用encode函數，轉換成其它編碼輸出。

設定python預設編碼

複製代碼 代碼如下:

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print sys.getdefaultencoding()

今天碰到了 python 編碼問題, 報錯資訊如下
複製代碼 代碼如下:

Traceback (most recent call last):
File "ntpath.pyc", line 108, in join
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

顯然是當前的編碼為ascii, 無法解析0xa1(十進位為161, 超過上限128). 進入python console後, 發現預設編碼確實是 ascii, 驗證過程為:
在python2.6中無法調用sys.setdefaultencoding()函數來修改預設編碼，因為python在啟動的時候會調用site.py檔案，在這個檔案中設定完預設編碼後會刪除sys的setdefaultencoding方法。不能再被調用了. 在確定sys已經匯入的情況下, 可以reload sys這個模組之後, 再 sys.setdefaultencoding('utf8')

複製代碼 代碼如下:

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print sys.getdefaultencoding()

確實有效, 根據 limodou 講解, site.py 是 python 解譯器啟動後, 預設載入的一個指令碼. 如果使用 python -S 啟動的話, 將不會自動載入 site.py.

上面寫的挺囉嗦的.

==================================
如何永久地將預設編碼設定為utf-8呢? 有2種方法:
==================================

第一個方法<不推薦>: 編輯site.py, 修改setencoding()函數, 強制設定為 utf-8
第二個方法<推薦>: 增加一個名為 sitecustomize.py, 推薦存放的路徑為 site-packages 目錄下
sitecustomize.py 是在 site.py 被import 執行的, 因為 sys.setdefaultencoding() 是在 site.py 的最後刪除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().
複製代碼 代碼如下:

import sys
sys.setdefaultencoding('utf-8')

既然 sitecustomize.py 能被自動載入, 所以除了設定編碼外, 也可以設定一些其他的東西
字串的編碼
複製代碼 代碼如下:

s1='中文'

像上面那樣直接輸入的字串是按照代碼檔案的編碼來處理的，如果是unicode編碼，有以下三種方式：
複製代碼 代碼如下:

1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一個內建函數，第二個參數指示源字串的編碼格式。
decode是任何字串具有的方法，將字串轉換成unicode格式，參數指示源字串的編碼格式。
encode也是任何字串具有的方法，將字串轉換成參數指定的格式。

