python編碼問題,python編碼
一、編碼曆史:
1、ASCII(主要用於顯示現代英語和其他西歐語言,其最多隻能用 8 位來表示(一個位元組),即:2**8 = 256-1,所以,ASCII碼最多隻能表示 255 個符號。
2、為了處理漢字,程式員設計了用於簡體中文的GB2312,但GB2312 支援的漢字太少,之後擴充規範為GBK,之後為GB18030(手機、MP3一般只支援GB2312)。從ASCII、GB2312、GBK 到GB18030,這些編碼方法是向下相容的。GB2312、GBK、GB18030都屬於雙位元組字元
3、因為ASCII碼無法將世界上的各種文字和符號全部表示,所以,需要一種可以代表所有字元和符號的編碼,即:Unicode(統一碼、萬國碼、單一碼),它為每種語言中的每個字元設定了統一併且唯一的二進位編碼,規定字元和符號最少由16位來表示(2個位元組),即:2 **16 = 65536。
4、UTF-8,是對Unicode編碼的壓縮和最佳化,它是可變長度編碼,很好的節省了空間。winx的作業系統安裝時是預設的gbk編碼,而linux作業系統預設的是utf8編碼。
二、py3的編碼:
Py3有兩種資料類型:str和bytes,str類型存unicode資料,bytse類型存bytes資料。Python 3對文本和位元據作了更為清晰的區分,不再會對bytes位元組串進行自動解碼。文本總是Unicode,由str類型表示,位元據則由bytes類型表示。Python 3不會以任意隱式的方式混用str和bytes,這使兩者的區分特別清晰。你不能拼接字串和位元組包,也無法在位元組包裡搜尋字串(反之亦然),也不能將字串傳入參數為位元組包的函數(反之亦然)。
在py3中encode,在轉碼的同時還會把string 變成bytes類型,decode在解碼的同時還會把bytes變回string
import json
s = '苑昊'
print(type(s) )#<class 'str'>
print(json .dumps(s) )#"\u82d1\u660a"
b=s.encode('utf-8')
print(type(b))#<class 'bytes'>
print(b)#b'\xe8\x8b\x91\xe6\x98\x8a'
u=b.decode('utf-8')
print(type(u) )#<class 'str'>
print(u)#苑昊
print(json .dumps(u) )#"\u82d1\u660a"
print(len('苑昊'))#2
三、檔案從磁碟到記憶體的編碼:
文字編輯器比如word,我們在word上編輯的文字在儲存之前資料是通過什麼形式存在記憶體的呢?是unicode資料,這是因為它是萬國碼,任何字元它都有唯一編碼對應,所以相容性是最好的。
當我們儲存了的存到磁碟上的資料是通過某種編碼方式編碼的bytes位元組串。比如utf8——一種可變長編碼,很好的節省了空間,還有gbk編碼等等。於是,在我們的文字編輯器軟體都有預設的儲存檔案的編碼方式,比如utf8,比如gbk。當我們點擊儲存的時候,這些編輯軟體已經"默默地"幫我們做了編碼工作。那當我們再開啟這個檔案時,軟體又默默地給我們做瞭解碼的工作,將資料再解碼成unicode,然後就可以呈現明文給使用者了!所以,unicode是離使用者更近的資料,bytes是離電腦更近的資料。
再說程式執行:先明確一個概念:py解譯器本身就是一個軟體,一個類似於文字編輯器一樣的軟體!現在讓我們一起還原一個py檔案從建立到執行的編碼過程:
開啟pycharm,建立hello.py檔案,寫入
s='苑昊'
print(s)
當我們儲存的的時候,hello.py檔案就以pycharm預設的編碼方式儲存到了磁碟;關閉檔案後再開啟,pycharm就再以預設的編碼方式對該檔案開啟後讀到的內容進行解碼,轉成unicode到記憶體我們就看到了明文;而如果我們點擊運行按鈕或者在命令列運行該檔案時,py解譯器這個軟體就會被調用,開啟檔案,然後解碼存在磁碟上的bytes資料成unicode資料,這個過程和編輯器是一樣的,不同的是解譯器會再將這些unicode資料翻譯成C代碼再轉成二進位的資料流,最後通過控制作業系統調用cpu來執行這些位元據,整個過程才算結束。
那麼問題來了,我們的文字編輯器有自己預設的編碼解碼方式,我們的解譯器有嗎?
當然有,py2預設ASCII碼,py3預設的utf8,可以通過如下方式查詢
|
1
2 |
import sys
print(sys.getdefaultencoding()) |
常見的編碼問題:
cmd下的亂碼問題
hello.py
#coding:utf8
print ('苑昊')
檔案儲存時的編碼也為utf8。
思考:為什麼在IDE下用2或3執行都沒問題,在cmd.exe下3正確,2亂碼呢?
我們在winx下的終端即cmd.exe去執行,大家注意,cmd.exe本身也一個軟體;當我們python2 hello.py時,python2解譯器(預設ASCII編碼)去按聲明的utf8編碼檔案,而檔案又是utf8儲存的,所以沒問題;問題出在當我們print'苑昊'時,解譯器這邊正常執行,也不會報錯,只是print的內容會傳遞給cmd.exe用來顯示,而在py2裡這個內容就是utf8編碼的位元組資料,可這個軟體預設的編碼解碼方式是GBK,所以cmd.exe用GBK的解碼方式去解碼utf8自然會亂碼。
py3正確的原因是傳遞給cmd的是unicode資料,cmd.exe可以識別內容,所以顯示沒問題。
明白原理了,修改就有很多方式,比如:
print (u'苑昊')
改成這樣後,cmd下用2也不會有問題了。
參考:http://www.cnblogs.com/yuanchenqi/articles/5956943.html