python編碼問題,python編碼

來源:互聯網
上載者:User

python編碼問題,python編碼

一、編碼曆史:

1、ASCII(主要用於顯示現代英語和其他西歐語言,其最多隻能用 8 位來表示(一個位元組),即:2**8 = 256-1,所以,ASCII碼最多隻能表示 255 個符號。

2、為了處理漢字,程式員設計了用於簡體中文的GB2312,但GB2312 支援的漢字太少,之後擴充規範為GBK,之後為GB18030(手機、MP3一般只支援GB2312)。從ASCII、GB2312、GBK 到GB18030,這些編碼方法是向下相容的。GB2312、GBK、GB18030都屬於雙位元組字元

3、因為ASCII碼無法將世界上的各種文字和符號全部表示,所以,需要一種可以代表所有字元和符號的編碼,即:Unicode(統一碼、萬國碼、單一碼),它為每種語言中的每個字元設定了統一併且唯一的二進位編碼,規定字元和符號最少由16位來表示(2個位元組),即:2 **16 = 65536。

4、UTF-8,是對Unicode編碼的壓縮和最佳化,它是可變長度編碼,很好的節省了空間。winx的作業系統安裝時是預設的gbk編碼,而linux作業系統預設的是utf8編碼。

二、py3的編碼:

Py3有兩種資料類型:str和bytes,str類型存unicode資料,bytse類型存bytes資料。Python 3對文本和位元據作了更為清晰的區分,不再會對bytes位元組串進行自動解碼。文本總是Unicode,由str類型表示,位元據則由bytes類型表示。Python 3不會以任意隱式的方式混用str和bytes,這使兩者的區分特別清晰。你不能拼接字串和位元組包,也無法在位元組包裡搜尋字串(反之亦然),也不能將字串傳入參數為位元組包的函數(反之亦然)。

在py3中encode,在轉碼的同時還會把string 變成bytes類型,decode在解碼的同時還會把bytes變回string

import json

s = '苑昊'
print(type(s) )#<class 'str'>
print(json .dumps(s) )#"\u82d1\u660a"

b=s.encode('utf-8')
print(type(b))#<class 'bytes'>
print(b)#b'\xe8\x8b\x91\xe6\x98\x8a'

u=b.decode('utf-8')
print(type(u) )#<class 'str'>
print(u)#苑昊
print(json .dumps(u) )#"\u82d1\u660a"

print(len('苑昊'))#2

 

三、檔案從磁碟到記憶體的編碼:

文字編輯器比如word,我們在word上編輯的文字在儲存之前資料是通過什麼形式存在記憶體的呢?是unicode資料,這是因為它是萬國碼,任何字元它都有唯一編碼對應,所以相容性是最好的。

當我們儲存了的存到磁碟上的資料是通過某種編碼方式編碼的bytes位元組串。比如utf8——一種可變長編碼,很好的節省了空間,還有gbk編碼等等。於是,在我們的文字編輯器軟體都有預設的儲存檔案的編碼方式,比如utf8,比如gbk。當我們點擊儲存的時候,這些編輯軟體已經"默默地"幫我們做了編碼工作。那當我們再開啟這個檔案時,軟體又默默地給我們做瞭解碼的工作,將資料再解碼成unicode,然後就可以呈現明文給使用者了!所以,unicode是離使用者更近的資料,bytes是離電腦更近的資料。

再說程式執行:先明確一個概念:py解譯器本身就是一個軟體,一個類似於文字編輯器一樣的軟體!現在讓我們一起還原一個py檔案從建立到執行的編碼過程:

開啟pycharm,建立hello.py檔案,寫入

s='苑昊'

print(s)

   當我們儲存的的時候,hello.py檔案就以pycharm預設的編碼方式儲存到了磁碟;關閉檔案後再開啟,pycharm就再以預設的編碼方式對該檔案開啟後讀到的內容進行解碼,轉成unicode到記憶體我們就看到了明文;而如果我們點擊運行按鈕或者在命令列運行該檔案時,py解譯器這個軟體就會被調用,開啟檔案,然後解碼存在磁碟上的bytes資料成unicode資料,這個過程和編輯器是一樣的,不同的是解譯器會再將這些unicode資料翻譯成C代碼再轉成二進位的資料流,最後通過控制作業系統調用cpu來執行這些位元據,整個過程才算結束。

那麼問題來了,我們的文字編輯器有自己預設的編碼解碼方式,我們的解譯器有嗎?

當然有,py2預設ASCII碼,py3預設的utf8,可以通過如下方式查詢

1

2

import sys

print(sys.getdefaultencoding())

常見的編碼問題:

cmd下的亂碼問題

hello.py

#coding:utf8

print ('苑昊')

檔案儲存時的編碼也為utf8。

思考:為什麼在IDE下用2或3執行都沒問題,在cmd.exe下3正確,2亂碼呢?

   我們在winx下的終端即cmd.exe去執行,大家注意,cmd.exe本身也一個軟體;當我們python2 hello.py時,python2解譯器(預設ASCII編碼)去按聲明的utf8編碼檔案,而檔案又是utf8儲存的,所以沒問題;問題出在當我們print'苑昊'時,解譯器這邊正常執行,也不會報錯,只是print的內容會傳遞給cmd.exe用來顯示,而在py2裡這個內容就是utf8編碼的位元組資料,可這個軟體預設的編碼解碼方式是GBK,所以cmd.exe用GBK的解碼方式去解碼utf8自然會亂碼。

py3正確的原因是傳遞給cmd的是unicode資料,cmd.exe可以識別內容,所以顯示沒問題。

明白原理了,修改就有很多方式,比如:

print (u'苑昊')

改成這樣後,cmd下用2也不會有問題了。

參考:http://www.cnblogs.com/yuanchenqi/articles/5956943.html

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.