python全棧開發【第六篇】Python字元編碼

來源:互聯網
上載者:User

標籤:文字   程式碼   文本   word   資料類型   多語言   直接   起源   原理   

1.記憶體和硬碟都是用來儲存的。

CPU:速度快

硬碟:永久儲存

 

2.文字編輯器存取檔案的原理(nodepad++,pycharm,word)

   開啟編輯器就可以啟動一個進程,是在記憶體中的,所以在編輯器編寫的內容也都是存放在記憶體中的,斷電後資料就丟失了。因而需要儲存在硬碟上,點擊儲存按鈕或快速鍵,就把記憶體中的資料儲存到了硬碟上。在這一點上,我們編寫的py檔案(沒有執行時),跟編寫的其他檔案沒有什麼區別,都只是編寫一堆字元而已。

3.python解譯器執行py檔案的原理,例如python  test.py

  第一階段:python解譯器啟動,此時就相當於啟動了一個文字編輯器

  第二階段:python解譯器相當於文字編輯器,去開啟test.py,從硬碟上將test.py的檔案內容讀入到記憶體中

  第三階段:python解譯器執行剛剛載入到記憶體中的test.py的代碼(在該階段,即執行時,才會識別python的文法,執行到字串時,會開闢記憶體空間存放字串)

總結:python解譯器與文字編輯器的異同

相同點:python解譯器是解釋執行檔案內容的,因而python解譯器具備讀py檔案的功能,這一點與文字編輯器一樣

不同點:文字編輯器將檔案內容讀入記憶體後,是為了顯示/編輯,而python解譯器將檔案內容讀入記憶體後,是為了執行(識別python的文法)

4.什麼是編碼?

  電腦想要工作必須通電,高低電平(高電平即位元1,低電平即位元0),也就是說電腦只認識數字。那麼讓電腦如何讀懂人類的字元呢?

  這就必須經過一個過程:

    字元---------(翻譯過程)-------------數字

  這個過程實際就是一個字元如何對應一個特定數位標準,這個標準稱之為字元編碼。

5.以下兩個情境涉及到字元編碼的問題:

  1.一個python檔案中的內容是由一堆字元組成的(python檔案未執行時)

  2.python中的資料類型字串是由一串字元組成的(python檔案執行時)

6.字元編碼的發展史

階段一:現代電腦起源於美國,最早誕生也是基於英文考慮的ASCII

      ASCII:一個Bytes代表一個字元(英文字元/鍵盤上的所有其他字元),1Bytes=8bit,8bit可以表示0-2**8-1種變化,即可以表示256個字元

    ASCII最初只用了後七位,127個數字,已經完全能夠代表鍵盤上所有的字元了(英文字元/鍵盤的所有其他字元)

    後來為了將拉丁文也編碼進了ASCII表,將最高位也佔用了

階段二:為了滿足中文,中國人定製了GBK

  GBK:2Bytes代表一個字元,為了滿足其他國家,各個國家紛紛定製了自己的編碼,日本把日文編到Shift_JIS裡,韓國把韓文編到Euc-kr裡

階段三:各國有各國的標準,就會不可避免地出現衝突,結果就是,在多語言混合的文本中,顯示出來會有亂碼。

於是產生了unicode, 統一用2Bytes代表一個字元, 2**16-1=65535,可代表6萬多個字元,因而相容萬國語言

但對於通篇都是英文的文本來說,這種編碼方式無疑是多了一倍的儲存空間(二進位最終都是以電或者磁的方式儲存到儲存介質中的)

於是產生了UTF-8,對英文字元只用1Bytes表示,對中文字元用3Bytes

需要強調的是:

  unicode:簡單粗暴,多有的字元都是2Bytes,優點是字元--數位轉換速度快;缺點是佔用空間大。

  utf-8:精準,可變長,優點是節省空間的;缺點是轉換速度慢,因為每次轉換都需要計算出需要多長Bytes才能夠準確表示。

1.記憶體中使用的編碼是unicode,用空間換時間(程式都需要載入到記憶體才能運行,因而記憶體應該是越快越好)

2.硬碟中或網路傳輸用utf-8,保證資料轉送的穩定性。

1 所有程式,最終都要載入到記憶體,程式儲存到硬碟不同的國家用不同的編碼格式,但是到記憶體中我們為了相容萬國(電腦可以運行任何國家的程式原因在於此),統一且固定使用unicode,2 這就是為何記憶體固定用unicode的原因,你可能會說相容萬國我可以用utf-8啊,可以,完全可以正常工作,之所以不用肯定是unicode比utf-8更高效啊(uicode固定用2個位元組編碼3 ,utf-8則需要計算),但是unicode更浪費空間,沒錯,這就是用空間換時間的一種做法,而存放到硬碟,或者網路傳輸,都需要把unicode轉成utf-8,4 因為資料的傳輸,追求的是穩定,高效,資料量越小資料轉送就越靠譜,於是都轉成utf-8格式的,而不是unicode。

1 所有程式,最終都要載入到記憶體,程式儲存到硬碟不同的國家用不同的編碼格式,但是到記憶體中我們為了相容萬國(電腦可以運行任何國家的程式原因在於此),統一且固定使用unicode,2 這就是為何記憶體固定用unicode的原因,你可能會說相容萬國我可以用utf-8啊,可以,完全可以正常工作,之所以不用肯定是unicode比utf-8更高效啊(uicode固定用2個位元組編碼3 ,utf-8則需要計算),但是unicode更浪費空間,沒錯,這就是用空間換時間的一種做法,而存放到硬碟,或者網路傳輸,都需要把unicode轉成utf-8,4 因為資料的傳輸,追求的是穩定,高效,資料量越小資料轉送就越靠譜,於是都轉成utf-8格式的,而不是unicode。

七、字元編碼轉換  

unicode------>encode(編碼)-------->utf-8

utf-8---------->decode--------->unicode

檔案從記憶體刷到硬碟的操作簡稱存檔案

檔案從硬碟讀到記憶體的操作簡稱讀檔案

亂碼:存檔案時就已經亂碼  或者  存檔案時不亂碼而讀檔案時亂碼

總結:

無論是何種編輯器,要防止檔案出現亂碼(請一定注意,存放一段代碼的檔案也僅僅只是一個普通檔案而已,此處指的是檔案沒有執行前,我們開啟檔案時出現的亂碼)

核心法則就是,檔案以什麼編碼儲存的,就以什麼編碼方式開啟

 

八、 文字編輯器之python解譯器

檔案test.py以gbk格式儲存,內容為:

  x=‘林‘

無論是

  python2 test.py

還是

  python3 test.py

都會報錯(因為python2預設ascii,python3預設utf-8)

除非在檔案開頭指定#coding:gbk

九、程式的執行

 python3 test.py  或 python2 test.py(執行test.py的第一步,一定是先將檔案內容讀入到記憶體中)

階段一:啟動python解譯器

階段二:python解譯器此時就是一個文字編輯器,負責開啟檔案test.py,即從硬碟中讀取test.py的內容到記憶體中

此時,python解譯器會讀取test.py 的第一行內容,#coding :utf-8,來決定以什麼編碼格式來讀入記憶體,這一行就是來設定python解譯器這個軟體的編碼使用的編碼格式這個編碼,python2預設使用ASCII,python3中預設使用utf-8

階段三:讀取已經載入到記憶體的代碼(unicode編碼的二進位),然後執行,執行過程中可能會開闢新的記憶體空間,比如x="egon"

 

記憶體的編碼使用unicode,不代表記憶體中全都是unicode編碼的二進位,

 

在程式執行之前,記憶體中確實都是unicode編碼的二進位,比如從檔案中讀取了一行x="egon",其中的x,等號,引號,地位都一樣,都是一般字元而已,都是以unicode編碼的二進位形式存放與記憶體中的

 

但是程式在執行過程中,會申請記憶體(與程式碼所存在的記憶體是倆個空間),可以存放任意編碼格式的資料,比如x="egon",會被python解譯器識別為字串,會申請記憶體空間來存放"hello",然後讓x指向該記憶體位址,此時新申請的該記憶體位址儲存也是unicode編碼的egon,如果代碼換成x="egon".encode(‘utf-8‘),那麼新申請的記憶體空間裡存放的就是utf-8編碼的字串egon了

 

 十、python2與python3的區別

 

在python2中有兩種字串類型str和unicode

  在python2中,str就是編碼後的結果bytes,所以在Python2中,unicode字元編碼的結果就是str/bytes

 

#coding:utf-8
s=‘林‘ #在執行時,‘林‘會被以conding:utf-8的形式儲存到新的記憶體空間中

print repr(s) #‘\xe6\x9e\x97‘ 三個Bytes,證明確實是utf-8
print type(s) #<type ‘str‘>

s.decode(‘utf-8‘)
# s.encode(‘utf-8‘) #報錯,s為編碼後的結果bytes,所以只能decode


1 #coding:utf-82 s=‘林‘ #在執行時,‘林‘會被以conding:utf-8的形式儲存到新的記憶體空間中3 4 print repr(s) #‘\xe6\x9e\x97‘ 三個Bytes,證明確實是utf-85 print type(s) #<type ‘str‘>6 7 s.decode(‘utf-8‘)8 # s.encode(‘utf-8‘) #報錯,s為編碼後的結果bytes,所以只能decode

  當python解譯器執行到產生字串的代碼時(例如s=u‘林‘),會申請新的記憶體位址,然後將‘林‘以unicode的格式存放到新的記憶體空間中,所以s只能encode,不能decode

s=u‘林‘
print repr(s) #u‘\u6797‘
print type(s) #<type ‘unicode‘>


# s.decode(‘utf-8‘) #報錯,s為unicode,所以只能encode
s.encode(‘utf-8‘)


1 s=u‘林‘2 print repr(s) #u‘\u6797‘3 print type(s) #<type ‘unicode‘>4 5 6 # s.decode(‘utf-8‘) #報錯,s為unicode,所以只能encode7 s.encode(‘utf-8‘) 

對於unicode格式的資料來說,無論怎麼列印,都不會亂碼

python3中的字串與python2中的u‘字串‘,都是unicode,所以無論如何列印都不會亂碼

在python3中也有兩種字串類型str和bytes\

  str是unicode

#coding:utf-8
s=‘林‘ #當程式執行時,無需加u,‘林‘也會被以unicode形式儲存新的記憶體空間中,

#s可以直接encode成任意編碼格式
s.encode(‘utf-8‘)
s.encode(‘gbk‘)

print(type(s)) #<class ‘str‘>


1 #coding:utf-82 s=‘林‘ #當程式執行時,無需加u,‘林‘也會被以unicode形式儲存新的記憶體空間中,3 4 #s可以直接encode成任意編碼格式5 s.encode(‘utf-8‘)6 s.encode(‘gbk‘)7 8 print(type(s)) #<class ‘str‘>

 

 

  

python全棧開發【第六篇】Python字元編碼

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.