Python字元集編碼和檔案讀寫

來源:互聯網
上載者:User

python中預設編碼是ASCII,可以通過以下方式設定和擷取:

import sys
print sys.getdefaultencoding()
sys.setdefaultencoding('gbk')

但直到python重新啟動後新的預設編碼才會生效,我試了一下,setdefaultencoding總是會出錯,沒有這個屬性。用dir看,確實沒有,python版本是2.5,不知道是否被取消了。

使用print來輸出時,python將內容傳遞給系統處理,windows會按照系統預設編碼來輸出。如果包含了中文,就要注意幾點。

1 python代碼檔案的編碼
py檔案預設是ASCII編碼,中文在顯示時會做一個ASCII到系統預設編碼的轉換,這時就會出錯:SyntaxError: Non-ASCII character。需要在代碼檔案的第一行或第二行添加編碼指示:

1 # coding=gbk
2 print '中文'

2 字串的編碼
像上面那樣直接輸入的字串是按照代碼檔案的編碼來處理的,如果是unicode編碼,有以下三種方式:

1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一個內建函數,第二個參數指示源字串的編碼格式。
decode是任何字串具有的方法,將字串轉換成unicode格式,參數指示源字串的編碼格式。
encode也是任何字串具有的方法,將字串轉換成參數指定的格式。

3 系統的預設編碼
對 於中文系統來說,預設的是gbk,gb2312也可以,因為它是gbk的字集。使用print輸出時,字串會被轉換成此格式,隱式轉換時,是從代碼檔案 編碼格式轉換成gbk,預設是ASCII->GBK。考慮上面第二點,如果字串編碼不是ASCII,則隱式轉換會出錯,需要顯式轉換,使用 encode方法。如果指定了代碼檔案格式為gbk,則隱式轉換不存在問題。

1 # coding=gbk

3 s = u'中文'
4 print s.encode('gbk')

檔案讀寫

只是ASCII或者gbk編碼格式的的檔案讀寫,比較簡單,讀寫如下:

 1 # coding=gbk
 2 
 3 f = open('c:/intimate.txt','r') # r 指示檔案開啟模式,即唯讀
 4 s1 = f.read()
 5 s2 = f.readline()
 6 s3 = f.readlines() #讀出所有內容
 7 
 8 f.close()
 9 
10 f = open('c:/intimate.txt','w') # w 寫檔案
11 f.write(s1)
12 f.writelines(s2) # 沒有writeline
13 f.close()

f.writelines不會輸出分行符號。
unicode檔案讀寫:

 1 # coding=gbk
 2 import codecs
 3 
 4 f = codecs.open('c:/intimate.txt','a','utf-8')
 5 f.write(u'中文')
 6 s = '中文'
 7 f.write(s.decode('gbk'))
 8 f.close()
 9 
10 f = codecs.open('c:/intimate.txt','r','utf-8')
11 s = f.readlines()
12 f.close()
13 for line in s:
14     print line.encode('gbk')

 

#---------------------------------------------------------------------------------------
以上為轉寄的內容,下面為我做的一些補充。對於上文中'setdefaultencoding總是會出錯'這個問題,可以通過以下方式解決:
import sys
reload(sys)
print sys.getdefaultencoding()
sys.setdefaultencoding('utf-8')通過上面的代碼,應該就可以把系統的編碼方式更改了. 在我們對一個不規範合法的編碼字串進行解碼時會拋出異常:>>> s = "\x84\xe5\xb0\x8f\xe6\x98\x8e"
>>> s.decode('utf-8')Traceback (most recent call last):
  File "<interactive input>", line 1, in ?
  File "E:\Program Files\Python24\lib\encodings\utf_8.py", line 16, in decode
UnicodeDecodeError: 'utf8' codec can't decode byte 0x84 in position 0: unexpected code byte
>>> 下面對s進行分析:把s轉換為二進位代碼為:10000100 11100101 10110000 10001111 10110110 10011000 10001011對這段二進位程式碼分析:第一個位元組為10000100,而在utf-8編碼規範規定0x80 到 0xBF 範圍內的位元組,只是跟隨位元組, 它們本身並不是字元,因此此處把它放到第一個位元組處不不合法的。然後對第二個位元組進行分析可看出它左邊有三個連續的1,這意味著第二個位元組和隨後的兩個位元組,(即11100101 10110000 10001111 )共三個位元組一起編碼為一個字元。同理可分析出後面的三個位元組編碼為一個字元。因此我們只要把第一個不合法的位元組去掉,就可以正常解碼了  >>> s = '\xe5\xb0\x8f\xe6\x98\x8e'
>>> print s.decode('utf-8')
小明
>>> 

問題是如果我們不知道字元裡的不合法位元組的位置時該怎麼進行解碼並的出正常編碼的那些字元的結果呢,我們可以使用如下兩種方法:

>>> s = '\x84\xe5\xb0\x8f\xe6\x98\x8e\x84'
>>> s.decode('utf-8')
Traceback (most recent call last):
  File "<interactive input>", line 1, in ?
  File "E:\Program Files\Python24\lib\encodings\utf_8.py", line 16, in decode
UnicodeDecodeError: 'utf8' codec can't decode byte 0x84 in position 0: unexpected code byte
>>> print s.decode('utf-8', 'ignore')
小明
>>> print s.decode('utf-8', 'replace')
?小明?
>>> 

由上面的代碼我們可以看到調用decode函數時第二個參數為對於不合法(即錯誤)的位元組處理的方式,預設情況下為'strict',即出現錯誤位元組就拋出異常。而'ignore'方式,則會忽略字串中不合法的位元組,'replace'方式下會用固定的位元組替換掉那些不合法的位元組。

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.